免训练 MoE 专家剪枝研究：门控缩放是最大隐性变量

一项免训练 MoE 专家剪枝研究发现，幸存专家的门控缩放是影响结果的最大隐性变量。研究在 OLMoE、DeepSeek-V2-Lite 和 Moonlight 上比较三类替换算子，未经 top-k 重归一化训练时，幸存者门控重归一化会损失 0.8–8.5 个百分点；tilted novice 算子整体改善结果，但结论仍受校准数据域影响。