AGI Hunt· teortaxesTex·· 3 小时前AI 评分57
开源推理托管测算显示,GPU 选型比推理引擎更影响盈亏
H200 满载也亏钱:开源推理托管算账显示选卡比选引擎更重要
AI 导读
Yingjun Wu 测算 DeepSeek V4.1 Flash 托管推理经济性后认为,GPU 租赁价格和型号比推理引擎选择更影响盈亏。H200 8 卡即使 100% 利用率也无法覆盖租金,B300 8 卡约 35% 利用率可保本,GB300 NVL72 使用 NVIDIA Dynamo 与 vLLM 调优后可分别以 48% 和 24% 利用率保本。
来源:AGI Hunt · agihunt.info