跳到正文
AGI Hunt· teortaxesTex·· 3 小时前AI 评分44

4 张 H200 部署 DeepSeek v4.1-flash:2400 tps,单卡 600 tok/s

4 张 H200 跑 DeepSeek v4.1:2400 tps,单卡 600 tok/s

AI 导读

开发者实测用 4 张 H200 部署 DeepSeek v4.1-flash,在功耗限制且无量化条件下实现约 2400 tps,单卡速度为 600 tok/s。该配置可支撑 16 个并发用户,每人超过 150 tok/s,整套成本约 12 万美元,但 scaling 表现较差。

来源:AGI Hunt · agihunt.info