热点事件持续更新

Bulatov解释Muon优化器为何未被早尝试

1 篇报道1 个报道来源57 分钟前更新

先了解这件事

AI 综述

Yaroslav Bulatov称，Muon 优化器此前未被更早尝试，可能是因为它不符合传统的预条件思路：用同一批次数据计算统计量来预条件当前梯度，直觉上会得到很差的统计量，因此 Muon 看起来不合常理。

AI 根据报道生成 · 45 分钟前更新

最新进展11月13日 03:57

沿着报道，了解事件的不同侧面。

11月13日

03:57
AGI Hunt
Yaroslav Bulatov 谈 Muon 优化器为何未被更早尝试
Yaroslav Bulatov 在回复 Arohan 时提出，Muon 优化器此前未被更早尝试，可能因为它不符合传统预条件思维。他认为，用同一批次数据计算统计量来预条件当前梯度，直觉上统计量会很糟糕，因此 Muon 显得不合常理。

还没有足够的连续观测数据，暂不绘制趋势。