跳到正文
AGI Hunt· nota-ai·· 49 分钟前AI 评分40

Nota AI 发布 MAEP:免训练按模态剪枝,将 MoE 多模态模型压缩 90% 专家参数

MAEP:免训练按模态剪枝,可将 MoE 多模态模型压缩 90% 专家参数

AI 导读

Nota AI 发布论文,提出面向 MoE 多模态大模型的免训练专家剪枝框架 MAEP。MAEP 在单次前向传播中按模态分解专家重要性,并引入 Delta-H Output(ΔH)等指标评估剪除影响;其目标是降低显存占用,同时保持有竞争力的多模态与文本性能。

来源:AGI Hunt · agihunt.info