跳到正文
AGI Hunt· vllm_project·· 1 小时前AI 评分61

vLLM 优化 Vera Rubin,DeepSeek-V4.1-Flash 吞吐达 GB300 的 58 倍

vLLM 优化 Rubin:DeepSeek-V4.1-Flash 吞吐达 GB300 的 58 倍

AI 导读

vLLM 团队宣布针对 Vera Rubin NVL72 优化 DeepSeek-V4.1-Flash 推理,在 SemiAnalysis AgentX 基准中,P90 达 387 tokens/s/用户时吞吐为 170 万 tokens/s/GPU,是 GB300 NVL72 的 58 倍。

来源:AGI Hunt · agihunt.info