AGI Hunt· AlpinDale·2026-11-07 12:11· 2 小时前AI 评分43NF12 量化格式集成进 vLLM 的 PR 已提交AI 导读开发者已提交将 NF12 量化格式集成进 vLLM 的 PR。测试显示,NF12 解码后的权重与原始 BF16 模型完全一致,相同执行管线下输出结果逐位相同,并因搬运字节更少带来与显存节省大致成比例的推理加速。来源:AGI Hunt · agihunt.info推理能力开源生态部署工程产品更新#产品更新#开源/仓库#推理#部署/工程查看事件全部后续