AGI Hunt· nicolechirps·· 3 小时前AI 评分43
Bonsai 将 Qwen3.8-27B 从 55.6GB 压缩至 5.9GB,保留 98.2% 跑分
Bonsai 把 Qwen 27B 从 55.6GB 压到 5.9GB,保留 98.2% 跑分
AI 导读
PrismML 团队的 Bonsai 采用三值量化,将 Qwen3.8-27B 从 55.6GB 压缩至 5.9GB,并在 20 个基准测试中保留 98.2% 的综合性能,超过上一版 27B 约 95% 的保留率。实测中,Qwen3.8-35B-A3B 使用 Q4KM 量化后,可在 12GB 显存的 RTX 3060 上运行 llama.cpp,生成速度约 50 tokens/s。
来源:AGI Hunt · agihunt.info