AGI Hunt· milpster·· 3 小时前AI 评分39
实测:Qwen3 27B 搭配 Dflash2,草稿模型采用 Q4 量化提速最明显
实测:Qwen3 27B 配 Dflash2,草稿模型用 Q4 量化提速最明显
AI 导读
Reddit 用户实测显示,Qwen3 27B(Q38FN)配合 Dflash2 进行投机解码时,草稿模型采用 Q4 量化的提速最明显。生成 F16、Q8、Q4 三档草稿模型的测试中,Q4 的接受率与高精度大致相当,作者建议这类配置尝试更低量化。
来源:AGI Hunt · agihunt.info