Hugging Face Blog·· 1 小时前AI 评分63
HOPE通过专家间二阶交互改进MoE语言模型剪枝
Your Experts Have Partners. There's HOPE for Keeping Them Together
AI 导读
HOPE提出一种二阶专家剪枝方法,通过优化专家两两交互来保留协作结构,在50%剪枝率下获得最佳平均排名,并在智能体编码任务上较次优方法最高提升6.1%。HOPE以Qwen3.5和GLM-4.5-Air进行评测,配套代码支持校准、求解和生成压缩模型检查点三步流程。
来源:Hugging Face Blog · huggingface.co