解释大模型训练末期梯度激增

1. 23:47
   AGI Hunt

   Defazio 论文揭示 LLM 训练末期梯度激增中权重衰减与 LR 调度的隐形互作

   Aaron Defazio 在 arXiv:2506.02285 中解释，LLM 长时间训练末期梯度范数迅速上升，源于权重衰减、归一化层与学习率调度的意外互作。训练末期 LR 降低使权重收缩，而尺度不变网络中的权重越小，梯度反而越大。论文建议按当前 LR 与 peak lr 的比例缩放权重衰减，AdamC 采用这一修正后全程 loss 更低。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。