AGI Hunt· AccBalanced·· 4 小时前AI 评分36
为什么 KV Cache 只存 K 和 V、从不存 Q?一张图讲透 LLM 注意力机制
为什么 KV Cache 只存 K 和 V、从不存 Q?一张图讲透注意力机制
AI 导读
KV Cache 只缓存 K 和 V 而不缓存 Q,因为生成阶段每个新 token 的 Q 只使用一次,旧 K、V 则保持不变并可反复复用。Prefill 阶段只有最后一个位置的 hidden state 用于预测下一个 token;随后每个新 token 仅计算新的 Q、K、V,K/V 追加进缓存。
来源:AGI Hunt · agihunt.info