David Tai 发布 TurboEXL3 融合内核库

开发者 David Tai 发布 TurboEXL3，将 EXL3 的编解码内核与批量 GEMM/GEMV 计算融合，据报道使该量化格式在搭载 M5/NAX 芯片的 Mac 上成为最快的推理格式之一，Qwen 解码速度达到 140 TPS。该库即将上线 mlx-serve，完整技术细节另行公布。 TurboEXL3 提供不同精度与体积取舍：EXL3 在 5.05 bits 时接近 BF16 无损；在 3.05 bits 时体积可再节省 33%，精度据称可对标 NVFP4。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。