Recursive测试lm_head四比特量化
热点事件持续更新
Recursive测试lm_head四比特量化
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Recursive发布模型分析帖，提出将2.5B激活参数模型的输出头lm_head压缩至4-bit，以减少模型处理每个token时需要读取的字节数；团队称，该方案仍能通过精度恢复控制性能损失。 具体做法是从16-bit模型进行自蒸馏，补回量化造成的精度损失；最终得到的NVFP4版本与原模型分数差距控制在0.7分以内。目前结果仅针对该模型及这一量化方案。
AI 根据报道生成 · 2 小时前更新
最新进展10月22日 22:51
Recursive 新模型分析：2.5B 激活参数下量化 lm_head，自蒸馏后 NVFP4 精度差 0.7 分报道时间线
沿着报道，了解事件的不同侧面。
10月22日
- AGI HuntRecursive 新模型分析：2.5B 激活参数下量化 lm_head，自蒸馏后 NVFP4 精度差 0.7 分
Recursive 发布新模型分析帖，提出将仅 2.5B 激活参数模型中的输出头 lm_head 压缩至 4-bit，以减少每 token 读取的字节数。团队从 16-bit 模型自蒸馏以恢复量化精度，最终 NVFP4 版本与原模型的差距控制在 0.7 分以内。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。