跳到正文
AGI Hunt· milpster·· 3 小时前AI 评分39

实测:Qwen3 27B 搭配 Dflash2,草稿模型采用 Q4 量化提速最明显

实测:Qwen3 27B 配 Dflash2,草稿模型用 Q4 量化提速最明显

AI 导读

Reddit 用户实测显示,Qwen3 27B(Q38FN)配合 Dflash2 进行投机解码时,草稿模型采用 Q4 量化的提速最明显。生成 F16、Q8、Q4 三档草稿模型的测试中,Q4 的接受率与高精度大致相当,作者建议这类配置尝试更低量化。

来源:AGI Hunt · agihunt.info