预训练优化研究：有效学习率解释“峰值加衰减”调度的偏差–方差权衡

预训练优化研究以有效学习率统一解释学习率调度，主张“峰值加衰减”是偏差–方差权衡的最优形态。Hyperball 将权重矩阵及其更新的 Frobenius 范数固定后，相比 weight decay 基线获得 20–30% token 等效加速。混元 ELR 实验中，WSD、cosine、linear 名义峰值相差 2.4 倍，1000 步后的角更新幅度曲线却高度重合。