AGI Hunt· ziv_ravid·· 1 小时前AI 评分51
研究揭示权重衰减时机对训练效果的影响
权重衰减时机是关键:早期施有益,晚期施有害且可跨规模迁移
AI 导读
研究显示,权重衰减的施加时机会显著影响模型最终损失,在162M、405M和1.4B三个规模上均有影响。前10%训练阶段施加衰减可获得收益,而同等长度窗口从60%处开始则会恶化最终损失;为162M模型挑选且未经重调的衰减时刻表迁移到1.4B后,在训练进行到73%时超过无衰减基线,并优于尝试过的最佳恒定衰减。
来源:AGI Hunt · agihunt.info