跳到正文
AGI Hunt· AlpinDale·· 2 小时前AI 评分43

NF12 量化格式集成进 vLLM 的 PR 已提交

AI 导读

开发者已提交将 NF12 量化格式集成进 vLLM 的 PR。测试显示,NF12 解码后的权重与原始 BF16 模型完全一致,相同执行管线下输出结果逐位相同,并因搬运字节更少带来与显存节省大致成比例的推理加速。

来源:AGI Hunt · agihunt.info