inferact公布PP2双卡吞吐实测
热点事件持续更新
inferact公布PP2双卡吞吐实测
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
inferact 团队公布 MiniMax-M3.1-Flash 在两张 NVIDIA B300 上的并行策略实测:在 vLLM 环境、2 秒 p50 首字延迟目标下,PP2 每 GPU 持续承载请求数比 DEP2 高 23%,比 TP2 高 17%。 结果存在负载分界:每 GPU 请求速率约低于 2.8 次/秒时,TP2 的 p50 首字延迟最低;超过该水平后,PP2 更占优势。每种布局进行了三组 60 秒泊松请求测试,并取中位数。
AI 根据报道生成 · 1 小时前更新
最新进展11月17日 09:15
流水线并行逆袭:MiniMax-M3.1-Flash 上 PP2 每 GPU 吞吐高 23%报道时间线
沿着报道,了解事件的不同侧面。
11月17日
- AGI Hunt流水线并行逆袭:MiniMax-M3.1-Flash 上 PP2 每 GPU 吞吐高 23%
inferact 团队在 MiniMax-M3.1-Flash + vLLM、两张 NVIDIA B300 上实测,2 秒 p50 TTFT 目标下,PP2 每 GPU 持续承载请求数比 DEP2 高 23%,比 TP2 高 17%。压测显示,每 GPU 请求速率约 2.8/s 以下时 TP2 的 p50 TTFT 最低,超过该点后 PP2 占优。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。