跳到正文
AGI Hunt· eso_logic·· 1 小时前AI 评分60

三张V100本地运行Qwen 35B的基准测试:速度超过Mac Studio

130+ 组测试:三张 V100 拼出千美元本地机,Qwen 35B 跑 72 tok/s 胜 Mac Studio

AI 导读

作者用三张V100-16GB搭建本地LLM测试平台,130多组基准测试显示Qwen 3.6 35B在Q8和128k上下文下约达72 tok/s,而Mac Studio M5同模型约44 tok/s。三张V100配置整机约$1,042,不含内存;多卡主要增加显存而非成倍提升速度,V100每瓦性能优于P100,K80运行72B以上模型时速度仅1–5 tok/s。

来源:AGI Hunt · agihunt.info