免训练MoE剪枝研究聚焦门控缩放

Ezza Ali 的研究发现，在免训练剪除 MoE 专家时，幸存专家的门控缩放是影响效果的关键变量：在 OLMoE、DeepSeek-V2-Lite 和 Moonlight 上，若路由未经 top-k 重归一化训练，对幸存者门控进行重归一化会使结果下降 0.8—8.5 个百分点。 研究还比较了三种专家替换算子，其中 tilted novice 算子整体改善结果，但表现仍受校准数据域影响，因此该算子的效果不能脱离具体数据条件认定。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。