斯坦福实证EMA权重平均的降损效果
热点事件持续更新
斯坦福实证EMA权重平均的降损效果
1 篇报道1 个报道来源46 分钟前更新
先了解这件事
AI 综述
斯坦福团队通过CS312系列实验发现,指数移动平均(EMA)权重平均能抵消预训练损失中的剧烈震荡并降低损失,但在稳定性边缘的全批量梯度下降场景中,表现略逊于学习率衰减。研究认为,EMA保留沿“河流方向”推进的滞后副本,而学习率退火能更直接地沿“山谷方向”下降;该结论是否适用于SGD仍待验证。
AI 根据报道生成 · 17 分钟前更新
最新进展11月21日 02:06
斯坦福团队实证 EMA 权重平均为何能降损失但略逊于 LR 衰减报道时间线
沿着报道,了解事件的不同侧面。
11月21日
- AGI Hunt斯坦福团队实证 EMA 权重平均为何能降损失但略逊于 LR 衰减
斯坦福团队通过 CS312 系列实验实证,EMA 权重平均可抵消预训练中的剧烈震荡并降低损失,但表现略逊于 LR 衰减。EMA 会保留沿「河流方向」推进的滞后副本,而 LR 退火可直接沿「山谷方向」下降。该结论适用于稳定性边缘的全批量梯度下降,SGD 下的表现仍在探索中。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。