AGI Hunt· anpaure·· 4 小时前AI 评分48
anpaure 逆向复现 Dimuon 优化器并开源实现
开发者逆向复现 Dimuon 优化器并开源实现
AI 导读
anpaure 开源 Dimuon 优化器逆向复现实现,在同权重、同一 batch 下对比 Adam 与 Dimuon。将 Adam 的 betas 设为 0、lr 与 ε 均取 10,000,可精确反推梯度 G。更新大小遵循 lr·√r·(r/32)^0.175,误差约百万分之一;奇异值呈现 Polar Express 指纹,曲线与 Muon 截然不同。
来源:AGI Hunt · agihunt.info