跳到正文
热点事件持续更新

llama.cpp实测显示KV cache量化反而更耗显存

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Reddit用户Fancy-Snow7在Unsloth版llama.cpp中实测Inkling-2-Mini后发现,KV cache量化并未节省显存:在Windows 11、RTX 5070 Ti及131072上下文、专家全部卸载至CPU的配置下,f16占用约8.8GB专用显存,q8_0约12.3GB,q4_0约11.2GB。 该测试中,直接使用f16还避免了q8_0配置出现的部分CUDA OOM,token生成速度最高快50%;用户推测,这是因为腾出的显存可用于缓存专家。

AI 根据报道生成 · 58 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月21日
  1. AGI Hunt
    实测反转:llama.cpp 中 KV cache 量化到 q8_0 反而更耗显存

    Reddit 用户在 Unsloth 版 llama.cpp 上测试 Inkling-2-Mini 时发现,KV cache 量化并未省显存:f16 占用约 8.8GB,q8_0 约 12.3GB,q4_0 约 11.2GB。该配置下直接使用 f16 可避免部分 CUDA OOM,token 生成速度最高快 50%,推测原因是腾出更多显存用于缓存专家。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。