跳到正文
热点事件持续更新

斯坦福实证EMA权重平均的降损效果

1 篇报道1 个报道来源46 分钟前更新

先了解这件事

AI 综述

斯坦福团队通过CS312系列实验发现,指数移动平均(EMA)权重平均能抵消预训练损失中的剧烈震荡并降低损失,但在稳定性边缘的全批量梯度下降场景中,表现略逊于学习率衰减。研究认为,EMA保留沿“河流方向”推进的滞后副本,而学习率退火能更直接地沿“山谷方向”下降;该结论是否适用于SGD仍待验证。

AI 根据报道生成 · 17 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月21日
  1. AGI Hunt
    斯坦福团队实证 EMA 权重平均为何能降损失但略逊于 LR 衰减

    斯坦福团队通过 CS312 系列实验实证,EMA 权重平均可抵消预训练中的剧烈震荡并降低损失,但表现略逊于 LR 衰减。EMA 会保留沿「河流方向」推进的滞后副本,而 LR 退火可直接沿「山谷方向」下降。该结论适用于稳定性边缘的全批量梯度下降,SGD 下的表现仍在探索中。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。