跳到正文
热点事件持续更新

伊利诺伊大学发布CriticNPU架构探索框架

1 篇报道1 个报道来源35 分钟前更新

先了解这件事

AI 综述

伊利诺伊大学香槟分校团队发布 CriticNPU,用于探索大语言模型推理 NPU 的架构设计空间;该框架通过机制化评估器将模拟器调用次数降至竞争基线约一半。 具体而言,CriticNPU 在模拟前过滤较弱候选方案,模拟后归纳 prefill 与 decode 阶段瓶颈并预测调参效果。在 6 个大语言模型工作负载、每个模型 16 种部署配置下,74% 的 prefill 和 87.5% 的 decode 设定取得最优或持平最优延迟,代码已开源。

AI 根据报道生成 · 14 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. AGI Hunt
    伊利诺伊大学香槟分校发布 CriticNPU:机制化评估器将 LLM 推理 NPU 设计空间探索模拟调用减半

    伊利诺伊大学香槟分校发布 CriticNPU,以机制化评估器探索 LLM 推理 NPU 设计空间,将模拟器调用次数降至竞争基线约一半。它在模拟前过滤弱候选,模拟后归纳 prefill 与 decode 瓶颈并预测调参效果。6 个 LLM 工作负载、每模型 16 种部署配置下,74% 的 prefill 和 87.5% 的 decode 设定取得最优或持平最优延迟,代码已开源。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。