跳到正文
AGI Hunt· TheZachMueller·· 4 小时前AI 评分45

NVIDIA Nemotron 3.5 Super VL 实测:NVFP4 单卡 Blackwell 吞吐反超双卡 BF16

Nemotron 3.5 Super VL 实测:NVFP4 单卡 Blackwell 吞吐反超双卡 BF16

AI 导读

NVIDIA Nemotron 3.5 Super VL(120B-A12B)在 SGLang 下实测中,NVFP4 单卡 Blackwell 系统峰值为 1,860 tok/s,高于双卡 BF16 的 1,669 tok/s。同负载下,NVFP4 单卡每 GPU 吞吐约为 BF16 双卡的 2.2 倍,单流速度分别为 587 tok/s 和 530 tok/s。

来源:AGI Hunt · agihunt.info