跳到正文
AGI Hunt· YouJiacheng·· 2 小时前AI 评分28

Muon 优化器变体修复 bug 后实测:MuonM 略优于 Muon,MuonS 基本持平

Muon 优化器变体修复后实测:MuonM 略优于 Muon,MuonS 基本持平

AI 导读

修复 Muon 优化器变体中的 bug 后重新对比测试,MuonM 的表现略优于原版 Muon,MuonS 则与 Muon 几乎相同。这一实证结果更新为关注优化器研究和预训练复现的团队提供了参考。

来源:AGI Hunt · agihunt.info