4000+ 模型实测：Muon 相对 AdamW 的提速幅度随规模缩水至 10%

新论文《Fantastic Pretraining Optimizers and Where to Find Them》通过训练超过 4000 个模型寻找最快的预训练优化器，指出相对 AdamW 有 2× 提速的说法基本站不住脚。实测显示，Muon 在 <0.5B 模型上约有 40% 提速，但在 1.2B、采用 8× Chinchilla 配比时仅剩约 10%。