分析称缩减NVL72机架带宽或不影响推理
热点事件持续更新
分析称缩减NVL72机架带宽或不影响推理
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
针对英伟达 NVL72 机架的分析认为，大规模 scale-up 域的 GPU 间带宽远未被用满，缩减这部分带宽大概率不会造成推理性能退化。 该分析称，DP-EP 部署主要在数据并行与专家并行之间搬运 activation，只有 Tensor Parallel 会大量占用 GPU 间 NVLink 带宽；读取权重和 KV cache 主要消耗 GPU 自身 HBM 带宽，而非 GPU-GPU 带宽。
AI 根据报道生成 · 1 小时前更新
最新进展10月26日 13:00
分析：NVL72 机架大规模 scale-up 带宽大多闲置，缩减或不影响推理性能报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- AGI Hunt分析：NVL72 机架大规模 scale-up 带宽大多闲置，缩减或不影响推理性能
分析认为，NVL72 这类大规模 scale-up 域中的带宽远未被用满，缩减 scale-up 带宽大概率不会造成推理性能退化。DP-EP 部署仅需在 DP 与 EP 间搬运 activation，Tensor Parallel 才会重度消耗 GPU-GPU 带宽。多数带宽消耗实际发生在读取权重与 KV cache 的 GPU-HBM，而非 GPU-GPU NVLink。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。