跳到正文
AGI Hunt· Ok-Doughnut-3022·· 3 小时前AI 评分37

Q8 的 Qwen3.6 35B 胜过 QFN3.8 iq3s?网友实测量化“阉割”权重的可用性

Q8 的小模型胜过 iq3 大模型?网友实测量化“阉割”权重的可用性

AI 导读

Reddit 用户用 Strata 本地部署实测发现,Qwen3.6 35B Q8 在编程 Agent 场景中比更大但重度量化的 QFN3.8 iq3s 更可靠。QFN3.8 即使调整温度、top-k 等参数仍会过度思考或陷入死循环,讨论由此质疑 Mid-size MoE 模型重度量化后的价值,提醒用户关注实际可用性而非仅看 PP/decode 速度。

来源:AGI Hunt · agihunt.info