AGI Hunt· woosuk_k·· 2 小时前AI 评分50
流水线并行逆袭:MiniMax-M3.1-Flash 上 PP2 每 GPU 吞吐高 23%
AI 导读
inferact 团队在 MiniMax-M3.1-Flash + vLLM、两张 NVIDIA B300 上实测,2 秒 p50 TTFT 目标下,PP2 每 GPU 持续承载请求数比 DEP2 高 23%,比 TP2 高 17%。压测显示,每 GPU 请求速率约 2.8/s 以下时 TP2 的 p50 TTFT 最低,超过该点后 PP2 占优。
来源:AGI Hunt · agihunt.info