LLM 推理两阶段图解：prefill 并行填充 KV cache，decode 逐 token 复用

卡通角色图解了 LLM 推理的两个阶段：prefill 并行处理 prompt 的全部 token 并填充 KV cache，decode 则逐 token 生成回复，同时复用并扩展 KV cache。内容还链接 NVIDIA 官方推理优化技术博客，涵盖 KV cache 内存增长、PagedAttention、量化和 in-flight batching 等优化手段。