跳到正文
AGI Hunt· AlpinDale·· 2 小时前AI 评分44

NF12 实现 BF16 无损压缩:节省显存并提速

NF12 量化格式实现无损压缩 BF16,省显存还提速

AI 导读

NF12 将超过 99.7% 权重中相同的指数位去除,把 BF16 无损压缩为定长 12-bit 格式。实测解码结果与原 BF16 权重逐位一致,相同执行管线下输出完全相同。每 8 个权重打包为 12 字节,另有 28 字节逃逸组与共享指数底,总体积几乎不超过 BF16。

来源:AGI Hunt · agihunt.info