跳到正文
AGI Hunt· anpaure·· 4 小时前AI 评分49

Muon 系优化器逆向工程:Dimuon 更新背后的 Polar Express 指纹

逆向工程优化器: recovering Dimuon 更新背后的 Polar Express 指纹

AI 导读

anpaure 逆向恢复 Muon 系优化器 Dimuon/Polar Express 的更新机制,从更新量反推内部公式。恢复方向为 D = L · PE(L · M · C) · C;Polar Express 在 FP16 下运行,动量以 BF16 存储。其奇异值呈现 Polar Express 指纹,且 β = 0 时上一步动量仍会影响 preconditioner。

来源:AGI Hunt · agihunt.info