有效学习率统一解释预训练调度

一项预训练优化研究提出，有效学习率而非名义学习率才是决定训练动态的核心量，其几何形状受偏差—方差权衡支配；研究据此主张，“先升至峰值再衰减”的调度是最优形态，并尝试统一解释 Hyperball 与不同学习率调度的实验结果。 在固定权重矩阵及更新的 Frobenius 范数后，Hyperball 相比 weight decay 基线获得 20%—30% 的 token 等效加速。混元 ELR 实验中，WSD、cosine 和 linear 的名义峰值相差 2.4 倍，但 1000 步后的角更新幅度曲线高度重合。

AI 根据报道生成 · 58 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。