vLLM 介绍 NVIDIA Rubin 机架上的大模型推理优化

vLLM 团队介绍其在 NVIDIA Vera Rubin 上利用 Mooncake 池化机架内存、优化大模型推理的实践。整个机架被构建为共享 KV 缓存池，高并发下缓存命中率达 96.5-97%。在 Rubin NVL72 机架服务 DeepSeek-V4.1-Flash 时，单 GPU 吞吐达到 1.7M tokens/s，整机吞吐约为 GB300 的 58 倍。