4xB300推理刷榜指标遭质疑

关注推理基准的 caoshuxun 评论称，某 4xB300 部署宣称的 1740 TPS decode 成绩可能依赖在基准数据集上专门训练投机解码模型及高接受率官方提示词，不能代表普遍性能；目前其说法仍属评论者提出的质疑。 据其实测，该成绩在每步接受 5.6 tokens 的官方提示词上成立，切换到开启 thinking 的普通编程负载后约为 1200 TPS，聊天或写作负载约为 750 TPS。他还指出，许多基准采用 P90 指标，可能掩盖普通用户实际感受到的速度差异。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。