AGI Hunt· HankYeomans·· 3 小时前AI 评分48
TurboEXL3 亮相：Qwen 在 Mac 上实现 140 TPS 解码
TurboEXL3 亮相：Qwen 在 Mac 上跑出 140 TPS 解码
AI 导读
开发者 David Tai 发布 TurboEXL3，将编解码内核融合进批量 GEMM/GEMV 计算，让 EXL3 量化格式在 M5/NAX 芯片的 Mac 上成为最快的推理格式之一。
来源：AGI Hunt · agihunt.info
TurboEXL3 亮相：Qwen 在 Mac 上实现 140 TPS 解码