MIT与NVIDIA提出QDA自动量化设计
热点事件持续更新
MIT与NVIDIA提出QDA自动量化设计
1 篇报道1 个报道来源41 分钟前更新
先了解这件事
AI 综述
MIT韩松实验室与NVIDIA联合提出QDA(Quantization Design with Agents),用大语言模型智能体形成闭环,自动设计大语言模型后训练量化方案。QDA依据未见的推理轨迹计算KL散度,快速筛选候选项;在四个推理模型上,W4A16、W4A8和W3A16方案较最强公开配方平均分别提升0.9、1.4和2.2个百分点,每次搜索消耗64个GPU小时。 该方法生成的量化检查点无需修改服务内核,不增加推理开销;相关库、评估器和测试框架计划开源。
AI 根据报道生成 · 22 分钟前更新
最新进展11月19日 11:17
MIT 韩松实验室与 NVIDIA 提出 QDA 智能体量化设计方案报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- AGI HuntMIT 韩松实验室与 NVIDIA 提出 QDA 智能体量化设计方案
MIT 韩松实验室与 NVIDIA 提出 QDA,利用 LLM Agent 闭环自动设计大语言模型后训练量化方案。该方法通过未见 reasoning traces 上的 KL 散度快速筛选候选项,并在四个 reasoning 模型上使 W4A16、W4A8、W3A16 分别较最强公开配方平均提升 0.9、1.4、2.2 个百分点,每次搜索仅耗 64 GPU 小时。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。