逾4000次训练检验预训练优化器提速
热点事件持续更新
逾4000次训练检验预训练优化器提速
1 篇报道1 个报道来源38 分钟前更新
先了解这件事
AI 综述
《Fantastic Pretraining Optimizers and Where to Find Them》论文作者通过训练逾4000个模型发现，预训练优化器相对AdamW普遍达到2倍提速的说法难以成立，实际优势会随模型规模扩大而缩小。 以Muon为例，在参数量低于0.5B的模型上，其提速约为40%；在1.2B参数、采用8× Chinchilla数据配比时，提速降至约10%。论文作者认为，结果可能受AdamW基线调参不足或实验规模有限影响。
AI 根据报道生成 · 31 分钟前更新
最新进展11月13日 03:12
4000+ 模型实测：Muon 相对 AdamW 的提速幅度随规模缩水至 10%报道时间线
沿着报道，了解事件的不同侧面。
11月13日
- AGI Hunt4000+ 模型实测：Muon 相对 AdamW 的提速幅度随规模缩水至 10%
新论文《Fantastic Pretraining Optimizers and Where to Find Them》通过训练超过 4000 个模型寻找最快的预训练优化器，指出相对 AdamW 有 2× 提速的说法基本站不住脚。实测显示，Muon 在 <0.5B 模型上约有 40% 提速，但在 1.2B、采用 8× Chinchilla 配比时仅剩约 10%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。