跳到正文
AGI Hunt· PuzzleheadedArm3732·· 1 小时前AI 评分56

千元级 V100 32G 实测 Qwen3.8-27B 量化性能

千元级 V100 32G 实测 Qwen 27B 量化:Q4_K_M 生成快 48%,Q8_0 预填快 16%

AI 导读

Reddit 用户使用约 1400 美元的 V100 PCIe 32GB 实测 Qwen3.8-27B 各量化版本,全部模型均可装入显存。Q4_K_M 生成速度比 Q8_0 快 48%,Q8_0 预填快 16%,32k 上下文时两者预填差距缩至 10%。32k 深度上下文使整体生成速度约下降 15%,Q4_K_M 从 35.5 tok/s 降至约 29.5 tok/s。

来源:AGI Hunt · agihunt.info