跳到正文
热点事件持续更新

KV Cache为何只缓存K和V

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

KV Cache只保存K、V而不保存Q,因为自回归生成时,每个新token的Q仅用于计算当次注意力结果;已生成的K、V则会保留,供后续token反复使用。 Prefill阶段通常只用最后一个位置的隐藏状态预测下一个token。进入逐token生成阶段后,系统只计算新token对应的Q、K、V,将K、V追加到缓存中;因此缓存Q既没有必要,也无法像K、V那样跨步骤复用。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. AGI Hunt
    为什么 KV Cache 只存 K 和 V、从不存 Q?一张图讲透 LLM 注意力机制

    KV Cache 只缓存 K 和 V 而不缓存 Q,因为生成阶段每个新 token 的 Q 只使用一次,旧 K、V 则保持不变并可反复复用。Prefill 阶段只有最后一个位置的 hidden state 用于预测下一个 token;随后每个新 token 仅计算新的 Q、K、V,K/V 追加进缓存。

本事件热度走势

可比范围当前
9
可比范围峰值
1011月18日 16:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。