dphnAI 开源 nf12 并提交 vLLM 集成
热点事件持续更新
dphnAI 开源 nf12 并提交 vLLM 集成
3 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
dphnAI 开源 nf12 库，将 BF16 权重矩阵压缩为定长 12-bit 编码；开发者称，测试中超过 99.7% 的权重指数位相同，去除共享指数位后解码结果与原 BF16 权重逐位一致，相同执行管线下输出完全相同。 该实现支持 Ampere 至 Blackwell 多代 GPU，每 8 个权重通常打包为 12 字节，并设置逃逸组与共享指数底；开发者展示的结果显示，压缩后需搬运的字节更少，可节省显存并带来相应推理提速。AlpinDale 已提交将 NF12 量化格式集成进 vLLM 的 PR，目前报道未说明该 PR 是否已合并。
AI 根据报道生成 · 52 分钟前更新
最新进展11月7日 12:11
NF12 量化格式集成进 vLLM 的 PR 已提交事件进展
2 个进展
- 11月7日 12:11 · 1 篇报道提交 NF12 集成 vLLM 的 PRAGI Hunt：NF12 量化格式集成进 vLLM 的 PR 已提交
- 11月7日 12:11 · 2 篇报道开源 nf12 无损压缩库AGI Hunt：NF12 实现 BF16 无损压缩：节省显存并提速
报道时间线
沿着报道，了解事件的不同侧面。
11月7日
- AGI HuntNF12 量化格式集成进 vLLM 的 PR 已提交
开发者已提交将 NF12 量化格式集成进 vLLM 的 PR。测试显示，NF12 解码后的权重与原始 BF16 模型完全一致，相同执行管线下输出结果逐位相同，并因搬运字节更少带来与显存节省大致成比例的推理加速。
- AGI HuntNF12 实现 BF16 无损压缩：节省显存并提速
NF12 将超过 99.7% 权重中相同的指数位去除，把 BF16 无损压缩为定长 12-bit 格式。实测解码结果与原 BF16 权重逐位一致，相同执行管线下输出完全相同。每 8 个权重打包为 12 字节，另有 28 字节逃逸组与共享指数底，总体积几乎不超过 BF16。
- AGI HuntdphnAI 开源 nf12：BF16 无损压缩至 12bit，支持多代 GPU
dphnAI 开源 nf12 库，基于 Together AI 的 NyoomFloat12 论文，将 BF16 权重矩阵无损压缩为定长 12-bit 编码，支持 Ampere 至 Blackwell 多代 GPU。开发者 AlpinDale 展示的结果显示，超过 99.7% 的权重指数位相同，去掉后解码结果与原模型逐位一致，同时体积更小、速度更快。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。