跳到正文
AGI Hunt· suprjami·· 3 小时前AI 评分49

Qwen3.8-27B EXL3 6bpw 量化实现 KLD mean 0.0002,显存占用 18.8GB

Qwen3.8-27B EXL3 量化 KLD 仅 0.0002,18.8GB 显存超 Q8 精度

AI 导读

Reddit 用户发现 yeasah 发布的 Qwen3.8-27B EXL3 6bpw 量化版本取得 KLD mean 0.0002,权重仅需 18.8 GiB 显存。该结果优于 Unsloth 的 Q8KXL、Minachist 的 INT8 AutoRound 和 turboderp 的 6bpw SC,在体积更小的情况下精度更高。

来源:AGI Hunt · agihunt.info