AGI Hunt· kastnerkyle·2026-11-06 11:52· 2 小时前AI 评分41Muon 优化器后训练开销实测:SFT 场景 FLOPs 最多增加 54%AI 导读Muon 在预训练中开销很低,但后训练的数据受限场景成本显著,700B MoE 模型进行 SFT 时额外 FLOPs 达 +54%,预训练仅增加 +0.2%。大规模分布式训练中的关键瓶颈是 Newton-Schulz(NS)正交化步骤的通信效率,而 Adam 在这方面更友好。来源:AGI Hunt · agihunt.info部署工程数据与训练论文研究#论文/研究#数据/训练#部署/工程查看事件全部后续