跳到正文
AGI Hunt· ziv_ravid·· 1 小时前AI 评分40

Meta 团队发布 Muon 预训练临时权重衰减延迟效应论文

新论文:Muon 预训练中临时权重衰减存在延迟效应

AI 导读

Meta 团队发布 arXiv 论文,研究 Muon 优化器下权重衰减的施加时机。仅在训练前 44% 施加权重衰减虽使前期表现更差,但训练结束后最终效果反超无衰减基线 0.028 nats,呈现延迟收益。

来源:AGI Hunt · agihunt.info