跳到正文
AGI Hunt· mit-han-lab·· 55 分钟前AI 评分52

MIT 韩松实验室与 NVIDIA 提出 QDA 智能体量化设计方案

MIT QDA:用 LLM Agent 自动设计量化方案,64 GPU 小时超最强公开配方

AI 导读

MIT 韩松实验室与 NVIDIA 提出 QDA,利用 LLM Agent 闭环自动设计大语言模型后训练量化方案。该方法通过未见 reasoning traces 上的 KL 散度快速筛选候选项,并在四个 reasoning 模型上使 W4A16、W4A8、W3A16 分别较最强公开配方平均提升 0.9、1.4、2.2 个百分点,每次搜索仅耗 64 GPU 小时。

来源:AGI Hunt · agihunt.info