AGI Hunt· AIFlow_ML·· 4 小时前AI 评分50
Recursive 新模型分析:2.5B 激活参数下量化 lm_head,自蒸馏后 NVFP4 精度差 0.7 分
2.5B 激活参数下 lm_head 4-bit 量化:自蒸馏补回精度,NVFP4 仅差 0.7 分
AI 导读
Recursive 发布新模型分析帖,提出将仅 2.5B 激活参数模型中的输出头 lm_head 压缩至 4-bit,以减少每 token 读取的字节数。团队从 16-bit 模型自蒸馏以恢复量化精度,最终 NVFP4 版本与原模型的差距控制在 0.7 分以内。
来源:AGI Hunt · agihunt.info