从权重范数几何视角解读 MuonH（Hyperball）优化器原理

miyashita03 发布文章《Understanding MuonH (Hyperball) through Weight Norm Geometry》，从权重范数几何视角解释 MuonH（Hyperball）优化器的工作原理。文章指出，在具备尺度不变性的网络中，将权重乘以正常数不会改变输出与损失，梯度与权重垂直，借此可更直观地理解 MuonH 的优化行为。