跳到正文
Hugging Face Blog·· 1 小时前AI 评分63

HOPE通过专家间二阶交互改进MoE语言模型剪枝

Your Experts Have Partners. There's HOPE for Keeping Them Together

AI 导读

HOPE提出一种二阶专家剪枝方法,通过优化专家两两交互来保留协作结构,在50%剪枝率下获得最佳平均排名,并在智能体编码任务上较次优方法最高提升6.1%。HOPE以Qwen3.5和GLM-4.5-Air进行评测,配套代码支持校准、求解和生成压缩模型检查点三步流程。

来源:Hugging Face Blog · huggingface.co