跳到正文
AGI Hunt· bookwormengr·· 3 小时前AI 评分33

分析:NVL72 机架大规模 scale-up 带宽大多闲置,缩减或不影响推理性能

分析:NVL72 机架大规模 scale-up 带宽大多闲置,砍掉也不伤推理性能

AI 导读

分析认为,NVL72 这类大规模 scale-up 域中的带宽远未被用满,缩减 scale-up 带宽大概率不会造成推理性能退化。DP-EP 部署仅需在 DP 与 EP 间搬运 activation,Tensor Parallel 才会重度消耗 GPU-GPU 带宽。多数带宽消耗实际发生在读取权重与 KV cache 的 GPU-HBM,而非 GPU-GPU NVLink。

来源:AGI Hunt · agihunt.info