KV Cache为何只缓存K和V
热点事件持续更新
KV Cache为何只缓存K和V
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
KV Cache只保存K、V而不保存Q,因为自回归生成时,每个新token的Q仅用于计算当次注意力结果;已生成的K、V则会保留,供后续token反复使用。 Prefill阶段通常只用最后一个位置的隐藏状态预测下一个token。进入逐token生成阶段后,系统只计算新token对应的Q、K、V,将K、V追加到缓存中;因此缓存Q既没有必要,也无法像K、V那样跨步骤复用。
AI 根据报道生成 · 3 小时前更新
最新进展11月18日 15:25
为什么 KV Cache 只存 K 和 V、从不存 Q?一张图讲透 LLM 注意力机制报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- AGI Hunt为什么 KV Cache 只存 K 和 V、从不存 Q?一张图讲透 LLM 注意力机制
KV Cache 只缓存 K 和 V 而不缓存 Q,因为生成阶段每个新 token 的 Q 只使用一次,旧 K、V 则保持不变并可反复复用。Prefill 阶段只有最后一个位置的 hidden state 用于预测下一个 token;随后每个新 token 仅计算新的 Q、K、V,K/V 追加进缓存。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1011月18日 16:00
- 近 24 小时变化
- –
02.557.510
16:0017:0018:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。