跳到正文
AGI Hunt· charles_irl·· 3 小时前AI 评分37

第三方同机实测:DeepInfer 推理吞吐超 DeepSeek 官方曲线约 9%

第三方同机实测:DeepInfer 推理吞吐超 DeepSeek 官方曲线约 9%

AI 导读

SGL 项目团队在 4×B300 同机复测 DeepInfer 与 DeepSeek,DeepInfer 推理吞吐在 4K、8K 上下文下分别约达 65K、78K tok/s/GPU,较 DeepSeek 官方曲线的 60K、72K 高约 9%。团队称,相对于更强基线为 1.04x 加速;若以 DeepSeek README 官方数字对照,4K 点加速比接近 1.13x。

来源:AGI Hunt · agihunt.info