跳到正文
AGI Hunt· abeirami·· 2 小时前AI 评分64

JITEngine 为 Mac 即时合成 LLM 推理引擎,最高提速 2.72 倍

JITEngine 为 Mac 即时合成 LLM 推理引擎,最快提速 2.7 倍

AI 导读

JITEngine 可根据特定模型与 Mac 配置即时合成定制 LLM 推理引擎,最高达到所测最快替代方案的 2.72 倍。其称在 48 GB M4 Pro 上运行 Qwen3.8-Flash-Next 时,相比 slotstream 达到 2.72×,相比开启 MTP 的 llama.cpp 达到 1.36×。

来源:AGI Hunt · agihunt.info