跳到正文
AGI Hunt· DinnerPrestigious953·· 3 小时前AI 评分45

9B 推理模型量化实测:70% 损伤集中在前 8 层,困惑度难显尾部风险

9B 模型量化实测:70% 损伤集中在前 8 层,困惑度看不见尾部风险

AI 导读

一项 9B 推理模型逐张量量化实测发现,约 69.5% 的 KL 散度损伤集中在第 0-7 层,困惑度无法反映尾部风险。未使用 imatrix 的 Gnom 在 164 个 HumanEval 风格任务上与其统计打平,基座保真度最高;不同构建分别产生 14 次和 19 次空输出,数据集已发布至 HuggingFace。

来源:AGI Hunt · agihunt.info