跳到正文
AGI Hunt· baseten·· 2 小时前AI 评分38

Baseten 实测 DeepSeek v4.1 Flash:Nvidia Vera Rubin 上跑出 2500 tok/s

Baseten 实测 DeepSeek v4.1 Flash:Vera Rubin 上跑出 2500 tok/s

AI 导读

Baseten 在 Nvidia Vera Rubin 上实测 DeepSeek v4.1 Flash,batch size 1、TP4 配置下达到约 2500 tok/s,每步仅 1.9ms。性能较此前 GB300 快约 1.5 倍;团队正与 SGLang 项目方合作开源相关优化,相关工作已由 Tri Dao 与 stel4th 在 SGLang 峰会分享。

来源:AGI Hunt · agihunt.info