五款端侧推理引擎第二轮实测结果

作者 Hyungsun 在配备 M3 Max（36GB）的设备上开展第二轮对比，五款 Apple Silicon 推理引擎中，Kapitsa 0.2.12 运行 Qwen3.8-27B-4bit 密集模型时达到 41.3 tok/s，在该测试条件下居首。 测试结果取 3 次中位数，采用 256 token 持续输出，并新增 Flint 40B-A2.5B；该模型在 Kapitsa 上达到 134.2 tok/s，虽可在 36GB 内存设备运行，但并非日常默认选择。由于各引擎使用的权重构建不同，结果应理解为“引擎+构建”的综合比较，不能直接视为纯引擎性能排名。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。