跳到正文
AGI Hunt· kastnerkyle·· 2 小时前AI 评分41

Muon 优化器后训练开销实测:SFT 场景 FLOPs 最多增加 54%

AI 导读

Muon 在预训练中开销很低,但后训练的数据受限场景成本显著,700B MoE 模型进行 SFT 时额外 FLOPs 达 +54%,预训练仅增加 +0.2%。大规模分布式训练中的关键瓶颈是 Newton-Schulz(NS)正交化步骤的通信效率,而 Adam 在这方面更友好。

来源:AGI Hunt · agihunt.info