AGI Hunt· ziv_ravid·2026-11-19 01:31· 1 小时前AI 评分40Meta 团队发布 Muon 预训练临时权重衰减延迟效应论文新论文:Muon 预训练中临时权重衰减存在延迟效应AI 导读Meta 团队发布 arXiv 论文,研究 Muon 优化器下权重衰减的施加时机。仅在训练前 44% 施加权重衰减虽使前期表现更差,但训练结束后最终效果反超无衰减基线 0.028 nats,呈现延迟收益。来源:AGI Hunt · agihunt.infoMeta / Llama数据与训练论文研究#论文/研究#数据/训练#Meta查看事件全部后续