AGI Hunt· AlpinDale·· 2 小时前AI 评分41
dphnAI 开源 nf12:BF16 无损压缩至 12bit,支持多代 GPU
dphnAI 开源 nf12:BF16 无损压至 12bit,多代 GPU 可跑
AI 导读
dphnAI 开源 nf12 库,基于 Together AI 的 NyoomFloat12 论文,将 BF16 权重矩阵无损压缩为定长 12-bit 编码,支持 Ampere 至 Blackwell 多代 GPU。开发者 AlpinDale 展示的结果显示,超过 99.7% 的权重指数位相同,去掉后解码结果与原模型逐位一致,同时体积更小、速度更快。
来源:AGI Hunt · agihunt.info