跳到正文
AGI Hunt· jasondeanlee·· 2 小时前AI 评分35

从权重范数几何理解 MuonH:尺度不变网络中梯度垂直于权重

从权重范数几何理解MuonH:尺度不变网络中梯度垂直于权重

AI 导读

文章从权重范数几何出发解释 MuonH(Hyperball),指出尺度不变网络中权重乘以正常数不会改变输出与损失,梯度始终垂直于权重方向。这一视角阐释了 Muon 类优化器有效的原因及其与 RMSNorm、LayerNorm 等归一化层协同影响训练动力学的机制。

来源:AGI Hunt · agihunt.info