Hacker News·· 4 小时前AI 评分63
Maple 开源 Gemma 4 26B-A4B 低显存专家剪枝方案
Show HN: Maple – Sub-2-BPW Moe Pruning to Run Gemma 4 26B at 45 TPS on a 6GB GPU
AI 导读
Maple 将 Gemma 4 26B-A4B 从 9.92 GB 压缩至 4.75 GB，使全部 30 层可在 6 GB GPU 显存中运行，生成速度达到 45.4 Tokens/Second。该方案按层移除 80 个低活跃度专家，保留 48 个专家，并提供基于 llama-imatrix 的领域语料校准、专家选择和 GGUF 构建流程。
来源：Hacker News · github.com