Defazio 论文揭示 LLM 训练末期梯度激增中权重衰减与 LR 调度的隐形互作

Aaron Defazio 在 arXiv:2506.02285 中解释，LLM 长时间训练末期梯度范数迅速上升，源于权重衰减、归一化层与学习率调度的意外互作。训练末期 LR 降低使权重收缩，而尺度不变网络中的权重越小，梯度反而越大。论文建议按当前 LR 与 peak lr 的比例缩放权重衰减，AdamC 采用这一修正后全程 loss 更低。