AGI Hunt· vllm_project·· 1 小时前AI 评分55
vLLM 优化 Rubin 上的 DeepSeek-V4.1-Flash 推理，吞吐达 GB300 的 58 倍
vLLM 优化 Rubin:DeepSeek-V4.1-Flash 吞吐达 GB300 的 58 倍
AI 导读
vLLM 团队优化 Vera Rubin NVL72 上的 DeepSeek-V4.1-Flash 推理，P90 387 tokens/s/用户时达到 170 万 tokens/s/GPU，为 GB300 NVL72 的 58 倍。
来源：AGI Hunt · agihunt.info