跳到正文
AGI Hunt· ziv_ravid·· 1 小时前AI 评分46

Muon 预训练临时 weight decay 研究:早期结论基于单种子,大模型暂无明确收益

作者自曝局限:早期 decay 结论基于单种子,大模型无明确收益

AI 导读

研究作者承认,关于早期 weight decay 的结论大多来自单种子实验,且尚未解释为何该 step-size 轨迹是好的。在使用 AdamW + ReLU² 的 405M 实验中,该方法无效;405M 与 1.4B 的下游评测也未显示相对恒定 decay 的明确优势。

来源:AGI Hunt · agihunt.info