跳到正文
热点事件持续更新

Dimuon更新机制被逆向分析

2 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

anpaure发布对Muon系优化器Dimuon及Polar Express的逆向工程分析,通过更新量反推其内部机制,认为更新公式方向为 D = L · PE(L · M · C) · C。 分析称,Polar Express在FP16下运行,动量以BF16存储;其奇异值呈现Polar Express指纹,且β=0时,上一步动量仍会影响preconditioner。分析还指出,conditioner指数不对称(如0/0.5)会导致13%—20%的RMS更新误差,而裁剪位置对结果影响很小。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月29日
  1. AGI Hunt
    Muon 系优化器逆向工程:Dimuon 更新背后的 Polar Express 指纹

    anpaure 逆向恢复 Muon 系优化器 Dimuon/Polar Express 的更新机制,从更新量反推内部公式。恢复方向为 D = L · PE(L · M · C) · C;Polar Express 在 FP16 下运行,动量以 BF16 存储。其奇异值呈现 Polar Express 指纹,且 β = 0 时上一步动量仍会影响 preconditioner。

  2. AGI Hunt
    anpaure 逆向复现 Dimuon 优化器并开源实现

    anpaure 开源 Dimuon 优化器逆向复现实现,在同权重、同一 batch 下对比 Adam 与 Dimuon。将 Adam 的 betas 设为 0、lr 与 ε 均取 10,000,可精确反推梯度 G。更新大小遵循 lr·√r·(r/32)^0.175,误差约百万分之一;奇异值呈现 Polar Express 指纹,曲线与 Muon 截然不同。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。