跳到正文
AGI Hunt· m4rkGS·· 2 小时前AI 评分62

开源量化方案 KQuant 让 Qwen 系列 MLX 量化最高逼近 3.7 倍

AI 导读

Nace团队的ML工程师Alish发布开源量化方案KQuant,为Qwen系列模型提供更贴近原模型的MLX量化包。其Qwen3.8-Flash-Next量化结果的KL散度为0.067,相比公共4-bit量化的0.249好3.7倍,体积小5GB(105.2GB)。

来源:AGI Hunt · agihunt.info