MAPLE发布Gemma 4低显存剪枝方案

Aman Sachan 发布 MAPLE MoE 剪枝管线、压缩模型检查点及部署脚本，将 Gemma 4 26B-A4B 从 9.92 GB 压缩至 4.75 GB，可在 6 GB GPU 显存中运行全部 30 层，生成速度为 45.4 Tokens/秒。 该方案按层移除 80 个低活跃度专家、保留 48 个，并通过 llama-imatrix 的领域语料校准、专家选择和 GGUF 构建流程完成压缩。预构建检查点已托管于 Hugging Face，但现有 4.75 GB 模型针对 Python 编程、算法合成、数据结构和形式化 STEM 推理进行了校准与剪枝；管线也可用于其他专业领域。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。