新研究解析 Muon 优化器为何有效：正交化更新或缓解事实记忆的学习失衡

burkov 介绍的研究探讨 Muon 优化器通过正交化矩阵更新改善神经网络事实记忆学习的机制。研究构建简化注意力模型，比较标准梯度下降、Muon 谱正交化更新与逐元素符号更新，考察其能否缩小不同信息学习速度不同步所导致的主语与关系绑定失衡。