AGI Hunt· AlpinDale·· 2 小时前AI 评分44
NF12 实现 BF16 无损压缩:节省显存并提速
NF12 量化格式实现无损压缩 BF16,省显存还提速
AI 导读
NF12 将超过 99.7% 权重中相同的指数位去除,把 BF16 无损压缩为定长 12-bit 格式。实测解码结果与原 BF16 权重逐位一致,相同执行管线下输出完全相同。每 8 个权重打包为 12 字节,另有 28 字节逃逸组与共享指数底,总体积几乎不超过 BF16。
来源:AGI Hunt · agihunt.info