NVIDIA 研究团队拆解 KV cache 压缩在 vLLM 生产环境失效的原因

NVIDIA 研究团队从基础设施视角分析，KV cache 压缩算法在 vLLM 生产部署中常因内存回收机制而失效。paged attention 仅在 block 完全空闲时回收内存，驱逐 90% 的缓存 token 后显存占用也几乎不降；FlashAttention 又不保存现有压缩方法所需的历史 attention score。