AWS 介绍 vLLM 推送式 KV 迁移及其性能提升

AWS 工程博客介绍 vLLM 的推送式 KV 迁移设计，将 KV 传输协调移出关键路径。测试显示，首 token 时间缩短约 3 倍，单 token 输出时间最多改善 30%，实现细节适用于预填充与解码分离部署。