AGI Hunt· stanfordnlp·· 56 分钟前AI 评分42
斯坦福团队实证 EMA 权重平均为何能降损失但略逊于 LR 衰减
斯坦福团队实证 EMA 权重平均:为何能降损失但略输给 LR 衰减
AI 导读
斯坦福团队通过 CS312 系列实验实证,EMA 权重平均可抵消预训练中的剧烈震荡并降低损失,但表现略逊于 LR 衰减。EMA 会保留沿「河流方向」推进的滞后副本,而 LR 退火可直接沿「山谷方向」下降。该结论适用于稳定性边缘的全批量梯度下降,SGD 下的表现仍在探索中。
来源:AGI Hunt · agihunt.info