AGI Hunt· Ok-Shower7286·· 3 小时前AI 评分25
Qwen4 若采用 HC 架构,Q4 与 Q6 量化差距将显著拉大
AI 导读
Reddit 用户预测,Qwen4 若采用混合流(HC)架构,Q4 与 Q6 量化的体感性能差距将明显大于以往模型。传统量化方案可能难以处理 residual stream 间的信息混合;文中还提到 3B HC 参数在 FP16 下约需 6GB 显存,并建议 HC 模型优先使用 llama.cpp。
来源:AGI Hunt · agihunt.info