AGI Hunt· nota-ai·· 49 分钟前AI 评分40
Nota AI 发布 MAEP:免训练按模态剪枝,将 MoE 多模态模型压缩 90% 专家参数
MAEP:免训练按模态剪枝,可将 MoE 多模态模型压缩 90% 专家参数
AI 导读
Nota AI 发布论文,提出面向 MoE 多模态大模型的免训练专家剪枝框架 MAEP。MAEP 在单次前向传播中按模态分解专家重要性,并引入 Delta-H Output(ΔH)等指标评估剪除影响;其目标是降低显存占用,同时保持有竞争力的多模态与文本性能。
来源:AGI Hunt · agihunt.info