跳到正文
AGI Hunt· Danmoreng·· 2 小时前AI 评分65

Qwen3.5 0.8B 决策模型通过 4bit 量化实现 CPU 加速

425MB 决策模型跑 CPU:自研 4bit 量化仅损 0.18pp 精度、快 2 倍

AI 导读

Danmoreng 开源 qwen35-cpu,以 Qwen3.5 家族 0.8B 小模型微调出 425MB 决策模型,并采用自研 4bit 量化在普通 CPU 上运行。

来源:AGI Hunt · agihunt.info