跳到正文
AGI Hunt· _arohan_·· 1 小时前AI 评分22

Yaroslav Bulatov 谈 Muon 优化器为何未被更早尝试

AI 导读

Yaroslav Bulatov 在回复 Arohan 时提出,Muon 优化器此前未被更早尝试,可能因为它不符合传统预条件思维。他认为,用同一批次数据计算统计量来预条件当前梯度,直觉上统计量会很糟糕,因此 Muon 显得不合常理。

来源:AGI Hunt · agihunt.info