V100运行Qwen3.8-27B量化实测
热点事件持续更新
V100运行Qwen3.8-27B量化实测
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Reddit 用户 PuzzleheadedArm3732 用约 1400 美元购入的 V100 PCIe 32GB 设备实测 Qwen3.8-27B:基于原版 llama.cpp 和 llama-bench,各量化版本均能装入显存;Q4_K_M 生成速度比 Q8_0 快 48%,但 Q8_0 预填快 16%。 测试采用 225W 功耗限制。上下文增至 32k 后,两种量化版本的预填差距缩小至 10%,整体生成速度下降约 15%;其中 Q4_K_M 从 35.5 tok/s 降至约 29.5 tok/s。
AI 根据报道生成 · 25 分钟前更新
最新进展11月22日 15:46
千元级 V100 32G 实测 Qwen3.8-27B 量化性能报道时间线
沿着报道,了解事件的不同侧面。
11月22日
- AGI Hunt千元级 V100 32G 实测 Qwen3.8-27B 量化性能
Reddit 用户使用约 1400 美元的 V100 PCIe 32GB 实测 Qwen3.8-27B 各量化版本,全部模型均可装入显存。Q4_K_M 生成速度比 Q8_0 快 48%,Q8_0 预填快 16%,32k 上下文时两者预填差距缩至 10%。32k 深度上下文使整体生成速度约下降 15%,Q4_K_M 从 35.5 tok/s 降至约 29.5 tok/s。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。