AGI Hunt· vllm_project·· 1 小时前AI 评分61
vLLM 优化 Vera Rubin,DeepSeek-V4.1-Flash 吞吐达 GB300 的 58 倍
vLLM 优化 Rubin:DeepSeek-V4.1-Flash 吞吐达 GB300 的 58 倍
AI 导读
vLLM 团队宣布针对 Vera Rubin NVL72 优化 DeepSeek-V4.1-Flash 推理,在 SemiAnalysis AgentX 基准中,P90 达 387 tokens/s/用户时吞吐为 170 万 tokens/s/GPU,是 GB300 NVL72 的 58 倍。
来源:AGI Hunt · agihunt.info