马德里自治大学技术报告：Muon 优化器加剧首个 MoE 层负载失衡，居中路由输入可缓解

马德里自治大学技术报告发现，用 Muon 替代 AdamW 训练 MoE 语言模型时，会扩大首个 MoE 层的路由偏置跨度，使负载更难均衡。在 55M 与 108M 激活参数模型上的测量显示，对路由输入做居中或降低优化器学习率，可减小这种失衡。