AGI Hunt· heghbalz·2026-11-13 00:54· 1 小时前AI 评分47随机舍入让 BF16 强化学习后训练收敛速度追平 FP16AI 导读随机舍入将 FP32 shadow weights 转为 BF16 后,BF16 RL 后训练的收敛速度可与 FP16 相当。相同学习率下,普通 BF16 明显滞后;主要瓶颈是权重更新的舍入误差,而非前后端 logprobs 不一致。随机舍入为降低显存与带宽成本提供了可行路径。来源:AGI Hunt · agihunt.info部署工程数据与训练教程实践#教程/实践#数据/训练#部署/工程查看事件全部后续