HOPE以二阶交互改进MoE模型剪枝

HOPE研究团队提出面向混合专家语言模型的二阶专家剪枝方法，通过优化专家两两交互，尽量保留专家间的协作结构。该团队称，在40%—50%的高剪枝率下，HOPE表现最佳，并在智能体编码任务上较次优方法最高提升6.1%；在10%—20%较低剪枝率下，其优势缩小，REAP和MAN等一阶方法有时更具竞争力。 HOPE已在Qwen3、Qwen3-Next、Qwen3.5和GLM-4.5上进行测试，代码可完成校准、求解和生成压缩模型检查点。剪枝后的模型仍是标准Hugging Face检查点，可减少磁盘和内存占用，且无需修改vLLM或SGLang的模型定义。

AI 根据报道生成 · 45 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。