NyoomFloat12 通过无损权重压缩将 Qwen3-32B 推理提速至 2.54 倍

NyoomFloat12（NF12）是一种面向 BF16 权重的无损 12-bit 压缩格式，可将 Qwen3-32B 的 token 生成速度提升 1.23×，共享前缀 rollout 场景下吞吐最高提升 2.54×。其依据权重各比特熵差异设计 meta byte 编码，以降低解码开销，并释放更多 HBM 显存用于扩大 KV cache。