vLLM披露Rubin机架推理优化
先了解这件事
vLLM团队介绍其在NVIDIA Vera Rubin NVL72上利用Mooncake将机架内存池化为共享KV缓存池的推理优化，称高并发时缓存命中率达96.5%—97%。在SemiAnalysis AgentX基准中，服务DeepSeek-V4.1-Flash时P90为387 tokens/s/用户，单GPU吞吐达170万tokens/s；团队称该指标为GB300 NVL72的58倍，峰值吞吐252万tokens/s/GBU，为GB300的2.7倍，单并发加张量并行时为1810 tokens/s。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- AGI HuntvLLM 介绍 NVIDIA Rubin 机架上的大模型推理优化
vLLM 团队介绍其在 NVIDIA Vera Rubin 上利用 Mooncake 池化机架内存、优化大模型推理的实践。整个机架被构建为共享 KV 缓存池，高并发下缓存命中率达 96.5-97%。在 Rubin NVL72 机架服务 DeepSeek-V4.1-Flash 时，单 GPU 吞吐达到 1.7M tokens/s，整机吞吐约为 GB300 的 58 倍。
- AGI HuntvLLM 优化 Rubin 上的 DeepSeek-V4.1-Flash 推理，吞吐达 GB300 的 58 倍
vLLM 团队优化 Vera Rubin NVL72 上的 DeepSeek-V4.1-Flash 推理，P90 387 tokens/s/用户时达到 170 万 tokens/s/GPU，为 GB300 NVL72 的 58 倍。
- AGI HuntvLLM 优化 Vera Rubin，DeepSeek-V4.1-Flash 吞吐达 GB300 的 58 倍
vLLM 团队宣布针对 Vera Rubin NVL72 优化 DeepSeek-V4.1-Flash 推理，在 SemiAnalysis AgentX 基准中，P90 达 387 tokens/s/用户时吞吐为 170 万 tokens/s/GPU，是 GB300 NVL72 的 58 倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。