跳到正文
AGI Hunt· thursdai_pod·· 2 小时前AI 评分67

开源推理引擎 inferd 发布,支持单台 Mac 运行 128 个智能体

开源 inferd 引擎单台 Mac 跑 128 个智能体,1487 tok/s

AI 导读

John Davies 在播客直播中发布开源推理引擎 inferd,面向 macOS 上的智能体集群,采用 Apache 2.0 协议。Mac Studio M5 Ultra(256GB)可同时运行 128 个智能体,总吞吐 1487 tok/s,整机墙插功耗为 293-300W,测试使用 Qwen3.8 模型。

来源:AGI Hunt · agihunt.info