AGI Hunt· NielsRogge·· 1 小时前AI 评分44
图解 PagedAttention:vLLM 如何像操作系统虚拟内存一样管理 KV cache
图解 PagedAttention:像操作系统虚存一样管理 KV cache
AI 导读
PagedAttention 将序列的 KV cache 切为固定大小 block,分散存放于 GPU 显存并按需分配,减少显存浪费和碎片。vLLM 可通过写时复制让并行采样、beam search 候选及共享前缀请求复用 block。
来源:AGI Hunt · agihunt.info