伊利诺伊大学发布CriticNPU架构探索框架
热点事件持续更新
伊利诺伊大学发布CriticNPU架构探索框架
1 篇报道1 个报道来源35 分钟前更新
先了解这件事
AI 综述
伊利诺伊大学香槟分校团队发布 CriticNPU,用于探索大语言模型推理 NPU 的架构设计空间;该框架通过机制化评估器将模拟器调用次数降至竞争基线约一半。 具体而言,CriticNPU 在模拟前过滤较弱候选方案,模拟后归纳 prefill 与 decode 阶段瓶颈并预测调参效果。在 6 个大语言模型工作负载、每个模型 16 种部署配置下,74% 的 prefill 和 87.5% 的 decode 设定取得最优或持平最优延迟,代码已开源。
AI 根据报道生成 · 14 分钟前更新
最新进展11月19日 13:17
伊利诺伊大学香槟分校发布 CriticNPU:机制化评估器将 LLM 推理 NPU 设计空间探索模拟调用减半报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- AGI Hunt伊利诺伊大学香槟分校发布 CriticNPU:机制化评估器将 LLM 推理 NPU 设计空间探索模拟调用减半
伊利诺伊大学香槟分校发布 CriticNPU,以机制化评估器探索 LLM 推理 NPU 设计空间,将模拟器调用次数降至竞争基线约一半。它在模拟前过滤弱候选,模拟后归纳 prefill 与 decode 瓶颈并预测调参效果。6 个 LLM 工作负载、每模型 16 种部署配置下,74% 的 prefill 和 87.5% 的 decode 设定取得最优或持平最优延迟,代码已开源。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。