跳到正文
AGI Hunt· _arohan_·· 2 小时前AI 评分40

Inderjit 证明 Muon 是 Shampoo 优化器的特例

AI 导读

优化器研究者 Inderjit 向 John Langford 与 CoreAI 团队道贺,并确认 Muon 是 Shampoo 的一个特例。这一结论在理论上贯通了近期用于 LLM 训练的 Muon 与经典二阶优化方法 Shampoo,为理解分布式二阶优化方法的关系脉络提供参考。

来源:AGI Hunt · agihunt.info