研究解析Muon缓解事实记忆失衡机制

burkov介绍的一项研究提出，Muon优化器通过对矩阵更新进行正交化，可能缓解神经网络学习事实时主语与关系绑定不同步的问题。研究用简化注意力模型比较标准梯度下降、Muon谱正交化更新和逐元素符号更新，以考察正交化能否缩小不同信息学习速度的差异；这一结果说明其潜在机制，但并非在真实任务上得到验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。