AGI Hunt· TheZachMueller·· 4 小时前AI 评分45
NVIDIA Nemotron 3.5 Super VL 实测:NVFP4 单卡 Blackwell 吞吐反超双卡 BF16
Nemotron 3.5 Super VL 实测:NVFP4 单卡 Blackwell 吞吐反超双卡 BF16
AI 导读
NVIDIA Nemotron 3.5 Super VL(120B-A12B)在 SGLang 下实测中,NVFP4 单卡 Blackwell 系统峰值为 1,860 tok/s,高于双卡 BF16 的 1,669 tok/s。同负载下,NVFP4 单卡每 GPU 吞吐约为 BF16 双卡的 2.2 倍,单流速度分别为 587 tok/s 和 530 tok/s。
来源:AGI Hunt · agihunt.info