跳到正文
AGI Hunt· NielsRogge·· 1 小时前AI 评分44

图解 PagedAttention:vLLM 如何像操作系统虚拟内存一样管理 KV cache

图解 PagedAttention:像操作系统虚存一样管理 KV cache

AI 导读

PagedAttention 将序列的 KV cache 切为固定大小 block,分散存放于 GPU 显存并按需分配,减少显存浪费和碎片。vLLM 可通过写时复制让并行采样、beam search 候选及共享前缀请求复用 block。

来源:AGI Hunt · agihunt.info