跳到正文
热点事件持续更新

V100运行Qwen3.8-27B量化实测

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Reddit 用户 PuzzleheadedArm3732 用约 1400 美元购入的 V100 PCIe 32GB 设备实测 Qwen3.8-27B:基于原版 llama.cpp 和 llama-bench,各量化版本均能装入显存;Q4_K_M 生成速度比 Q8_0 快 48%,但 Q8_0 预填快 16%。 测试采用 225W 功耗限制。上下文增至 32k 后,两种量化版本的预填差距缩小至 10%,整体生成速度下降约 15%;其中 Q4_K_M 从 35.5 tok/s 降至约 29.5 tok/s。

AI 根据报道生成 · 25 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月22日
  1. AGI Hunt
    千元级 V100 32G 实测 Qwen3.8-27B 量化性能

    Reddit 用户使用约 1400 美元的 V100 PCIe 32GB 实测 Qwen3.8-27B 各量化版本,全部模型均可装入显存。Q4_K_M 生成速度比 Q8_0 快 48%,Q8_0 预填快 16%,32k 上下文时两者预填差距缩至 10%。32k 深度上下文使整体生成速度约下降 15%,Q4_K_M 从 35.5 tok/s 降至约 29.5 tok/s。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。