SiliconANGLE AI· Paul Gillin·· 1 天前AI 评分74
llm-d 1.0 发布,增加企业自托管分布式推理控制
IBM-backed llm-d framework adds controls for running AI models in-house
AI 导读
IBM 支持的开源 llm-d 项目发布 1.0,为企业自建基础设施上的大模型分布式推理增加多租户服务质量、零停机升级和面向 AI 智能体的服务模式。版本 1.0 还整合跨 GPU、CPU 内存和存储的缓存信息调度,并在智能体编码测试中实现 97% 的可用缓存复用。IBM 与 Red Hat 展示了同时运行 3,000 个软件工程智能体,其自托管成本比同类托管服务低 5 至 10 倍。
来源:SiliconANGLE AI · siliconangle.com