AGI Hunt· thursdai_pod·· 2 小时前AI 评分67
开源推理引擎 inferd 发布,支持单台 Mac 运行 128 个智能体
开源 inferd 引擎单台 Mac 跑 128 个智能体,1487 tok/s
AI 导读
John Davies 在播客直播中发布开源推理引擎 inferd,面向 macOS 上的智能体集群,采用 Apache 2.0 协议。Mac Studio M5 Ultra(256GB)可同时运行 128 个智能体,总吞吐 1487 tok/s,整机墙插功耗为 293-300W,测试使用 Qwen3.8 模型。
来源:AGI Hunt · agihunt.info