AGI Hunt· baseten·· 59 分钟前AI 评分33
Baseten 在 Nvidia Vera Rubin 上运行 DeepSeek v4.1 Flash,推理速度约达 2500 tok/s
Baseten 在 Vera Rubin 上跑 DeepSeek v4.1 Flash 达约 2500 tok/s
AI 导读
Baseten 在 Nvidia Vera Rubin 硬件上部署 DeepSeek v4.1 Flash,在 batch size 1、TP4 配置下实现约 2500 tok/s 的生成速度。该实测展示了新一代硬件与低延迟优化方案的性能上限。
来源:AGI Hunt · agihunt.info