跳到正文
热点事件持续更新

Rubin内存带宽下调,单轮对话延迟或上升

2 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

NVIDIA将Vera Rubin的HBM4规格从此前公布的每GPU 22TB/s下调至19.2TB/s,NVLink带宽也从3.6TB/s降至3TB/s。AIFlowML分析称,这一变化使Rubin在算力相当的情况下内存带宽更低。 AIFlow_ML认为,模型逐轮回答速度更受内存速度影响,因此Rubin的单轮对话延迟体验可能变差;批处理吞吐量则仍应主要考量算力。该判断属于分析观点,尚不等于实际性能结论。

AI 根据报道生成 · 2 小时前更新

事件进展

2 个进展

  1. 10月28日 04:55 · 1 篇报道
    观点:模型回答速度主要取决于内存速度而非算力,NVIDIA Rubin 反而更低
    AGI Hunt:观点:模型回答速度主要取决于内存速度而非算力,NVIDIA Rubin 反而更低
  2. 10月28日 04:52 · 1 篇报道
    NVIDIA下调Vera Rubin内存带宽
    AGI Hunt:NVIDIA 静默下调 Vera Rubin 内存带宽,HBM4 每 GPU 降至 19.2TB/s

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. AGI Hunt
    观点:模型回答速度主要取决于内存速度而非算力,NVIDIA Rubin 反而更低

    AIFlow_ML 提出,模型回答速度主要取决于内存速度而非算力,NVIDIA Rubin 在算力相当的情况下内存速度更低。该判断意味着,单轮快速对话的延迟体验可能变差,而批处理吞吐仍应重点考量算力;Rubin 的 HBM4 带宽据称每 GPU 下降 13% 至 19.2TB/s。

  2. AGI Hunt
    NVIDIA 静默下调 Vera Rubin 内存带宽,HBM4 每 GPU 降至 19.2TB/s

    AIFlowML 分析称,NVIDIA 官网悄然下调 Vera Rubin NVL72 的内存带宽规格,每 GPU HBM4 带宽从 22TB/s 降至 19.2TB/s,降幅为 13%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。