研究称输出层舍入误差致预训练后期loss spike

Chen 等人的一项研究把语言模型预训练中后期出现的 loss spike 归因于输出层的舍入误差（量化效应）：在高学习率下，输出的 logit 范数持续增长，最终触发损失突刺。 这一解释属于该研究提出的成因判断，给出的是从学习率到 logit 范数增长、再到舍入误差引发损失突刺的机制链条，而非行业共识。

AI 根据报道生成 · 54 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。