跳到正文
AGI Hunt· AIFlow_ML·· 3 小时前AI 评分35

观点:模型回答速度主要取决于内存速度而非算力,NVIDIA Rubin 反而更低

观点:模型回答快慢主要看内存速度而非算力,Rubin 反而降了

AI 导读

AIFlow_ML 提出,模型回答速度主要取决于内存速度而非算力,NVIDIA Rubin 在算力相当的情况下内存速度更低。该判断意味着,单轮快速对话的延迟体验可能变差,而批处理吞吐仍应重点考量算力;Rubin 的 HBM4 带宽据称每 GPU 下降 13% 至 19.2TB/s。

来源:AGI Hunt · agihunt.info