跳到正文
AGI Hunt· Brief-Tap-6616·· 2 小时前AI 评分43

8GB 显存运行 Qwen3.8 27B:2.1bpw 量化达 92.5% Top-1 匹配

8GB显存跑Qwen 27B:2.1bpw量化达92.5% Top-1匹配

AI 导读

Reddit 用户发布面向 8GB 显卡的 Qwen3.8 27B 量化版本,2.1bpw 下 Top-1 与 BF16 匹配度达 92.5%。该版本支持 200k 上下文,LiveCodeBench 成绩较 9B 量化版本高 17%,与 BF16 差距在 10% 以内。低于 3bpw 时误差明显扩大,且需无头运行以腾出 500+MB 显存。

来源:AGI Hunt · agihunt.info