跳到正文
AGI Hunt· markjeffrey·· 2 小时前AI 评分42

民间团队 Ingot 一周完成 Qwen 27B FP8 量化,效果据称超阿里巴巴官方版

民间团队 Ingot 一周做出 Qwen 27B FP8 量化,效果超阿里官方版

AI 导读

Ingot 团队发布 Ingot-I,用一周将 Qwen 27B 量化为 FP8,据称效果超过阿里巴巴官方量化版本。团队下一步计划推进 2-bit 量化及更大的 GLM 系列模型,该案例显示社区量化水平已在部分指标上超越原厂。

来源:AGI Hunt · agihunt.info