AGI Hunt· VoidAsuka·· 1 小时前AI 评分55
4xB300 部署的 1740 TPS 推理成绩遭质疑，P90 或掩盖真实速度
1740 TPS 被质疑刷榜:针对 benchmark 训练投机模型,P90 掩盖真实速度
AI 导读
有人实测质疑某 4xB300 部署达到 1740 TPS 的 decode 成绩，认为该数字仅适用于接受率极高的官方 prompt，每步接受 5.6 tokens。
来源：AGI Hunt · agihunt.info
4xB300 部署的 1740 TPS 推理成绩遭质疑，P90 或掩盖真实速度