Qwen3.8 27B KV缓存量化实测
热点事件持续更新
Qwen3.8 27B KV缓存量化实测
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
一位本地 LLM 玩家公布 Qwen3.8 27B 的 35 种权重量化与 KV 缓存量化组合实测，覆盖 llama.cpp、ExLlamaV3、vLLM，并以 KLD 比较精度差异。其称，8-bit KV 在 llama.cpp 和 ExLlamaV3 中可让 64k 上下文缓存减少约 1.9–2.0 GiB，且 KLD 几乎不变；vLLM 表现略差，但仍适合显存不足时使用。 同一测试称，4-bit KV 对 Q8 权重影响明显，只有搭配 Q3 以下权重才可能划算，不建议采用；其精度影响还会随上下文增长，16–32k 时附加 KL 比 4k 内高约 15%–30%。
AI 根据报道生成 · 2 小时前更新
最新进展11月8日 01:09
35 种量化组合实测 Qwen3.8 27B 的 KV 缓存精度报道时间线
沿着报道，了解事件的不同侧面。
11月8日
- AGI Hunt35 种量化组合实测 Qwen3.8 27B 的 KV 缓存精度
一项针对 Qwen3.8 27B 的测试以 KLD 衡量 35 种权重量化组合，并分别搭配 16/8/4-bit KV 缓存，比较 llama.cpp、ExLlamaV3 和 vLLM，结果覆盖 agentic 工具调用、多领域文本及最长 64k token 上下文。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。