跳到正文
AGI Hunt· Yicheng He·· 41 分钟前AI 评分48

伊利诺伊大学香槟分校发布 CriticNPU:机制化评估器将 LLM 推理 NPU 设计空间探索模拟调用减半

CriticNPU:机制化评估器让 NPU 设计空间探索模拟调用减半

AI 导读

伊利诺伊大学香槟分校发布 CriticNPU,以机制化评估器探索 LLM 推理 NPU 设计空间,将模拟器调用次数降至竞争基线约一半。它在模拟前过滤弱候选,模拟后归纳 prefill 与 decode 瓶颈并预测调参效果。6 个 LLM 工作负载、每模型 16 种部署配置下,74% 的 prefill 和 87.5% 的 decode 设定取得最优或持平最优延迟,代码已开源。

来源:AGI Hunt · agihunt.info