John Davies 开源推理引擎 inferd

John Davies 在播客直播中发布 Apache 2.0 协议的开源推理引擎 inferd，用于在 macOS 本地运行智能体集群；其称，Mac Studio M5 Ultra（256GB）可并发运行 128 个智能体，使用 Qwen3.8 模型时总吞吐达 1487 tok/s，整机墙插功耗为 293—300W。 inferd 可部署在约 1000 美元的 Mac mini 至 2 万美元的 Mac Studio 上，数据留在本地，不按 token 收费。John Davies 称，该引擎兼容 OpenAI API，修改 baseurl 即可接入现有智能体框架，并支持上下文固定、会话保持、单智能体 effort 和优先级等设置。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。