AGI Hunt· micahgoldblum·2026-11-06 00:43· 2 小时前AI 评分38研究定位 LM 预训练后期 loss spike 根因:输出层舍入误差研究定位 LM 预训练后期 loss spike:输出层舍入误差所致AI 导读研究定位了 LM 预训练中后期 loss spike 的根因:高学习率下输出 logit 范数持续增长,最终由输出层舍入误差(quantization effect)引发损失突刺。来源:AGI Hunt · agihunt.info数据与训练论文研究#论文/研究#数据/训练查看事件全部后续