三张V100运行Qwen 35B基准测试公布
热点事件持续更新
三张V100运行Qwen 35B基准测试公布
1 篇报道1 个报道来源58 分钟前更新
先了解这件事
AI 综述
作者eso_logic用三张V100-16GB搭建本地大模型测试平台,并公布130多组基准测试:Qwen 3.6 35B在Q8量化、128k上下文下达到约72 tok/s,高于Mac Studio M5运行同模型时的约44 tok/s。 该三卡V100方案的双Xeon、主板、电源和散热等整机成本约1042美元,不含内存。测试还显示,多张V100主要用于扩展显存,速度并未成倍增加;其每瓦性能优于P100,而K80运行72B以上模型时仅为1—5 tok/s。
AI 根据报道生成 · 25 分钟前更新
最新进展11月17日 22:49
三张V100本地运行Qwen 35B的基准测试:速度超过Mac Studio报道时间线
沿着报道,了解事件的不同侧面。
11月17日
- AGI Hunt三张V100本地运行Qwen 35B的基准测试:速度超过Mac Studio
作者用三张V100-16GB搭建本地LLM测试平台,130多组基准测试显示Qwen 3.6 35B在Q8和128k上下文下约达72 tok/s,而Mac Studio M5同模型约44 tok/s。三张V100配置整机约$1,042,不含内存;多卡主要增加显存而非成倍提升速度,V100每瓦性能优于P100,K80运行72B以上模型时速度仅1–5 tok/s。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。