跳到正文
AGI Hunt· Fancy-Snow7·· 2 小时前AI 评分45

实测反转:llama.cpp 中 KV cache 量化到 q8_0 反而更耗显存

实测反转:llama.cpp 里 KV cache 量化到 q8_0 反而更费显存

AI 导读

Reddit 用户在 Unsloth 版 llama.cpp 上测试 Inkling-2-Mini 时发现,KV cache 量化并未省显存:f16 占用约 8.8GB,q8_0 约 12.3GB,q4_0 约 11.2GB。该配置下直接使用 f16 可避免部分 CUDA OOM,token 生成速度最高快 50%,推测原因是腾出更多显存用于缓存专家。

来源:AGI Hunt · agihunt.info