跳到正文
AGI Hunt· victormustar·· 3 小时前AI 评分51

4 块 RTX PRO 6000 运行 DeepSeek,16 路并发解码达 2120 tok/s

4 块 RTX PRO 6000 跑 DeepSeek:16 并发解码 2120 tok/s

AI 导读

用户 0xSero 实测用 4×RTX PRO 6000 本地运行 DeepSeek,16 路并发会话的总解码速度达到 2120 tok/s。测试配置包括 512K 上下文、TP4 over PCIe P2P,C4 prefill 速度为 15202 tok/s,首 token 延迟 146ms,每路并发会话仍可获得 120+ tok/s;硬件成本约 7.5 万美元。

来源:AGI Hunt · agihunt.info