llm-d 1.0发布，强化分布式推理调度
先了解这件事
Google 团队与 IBM 等贡献者发布 llm-d 1.0，这是面向企业自建基础设施的开源分布式推理栈首个稳定版本。作为 Kubernetes 原生层，它可将基于 vLLM 或 SGLang 的模型服务器纳入统一资源池，在 NVIDIA、AMD、Intel GPU 及 Google TPU 集群上运行；Google Cloud 则通过 GKE Inference Gateway 以托管服务运行其路由器。 1.0 新增多租户流控、v1 API、路由器高可用、零停机升级、DisaggregatedSet、智能体感知服务及缓存感知路由。IBM 与 Red Hat 展示同时运行 3,000 个软件工程智能体，并称自托管成本比同类托管服务低 5 至 10 倍、智能体编码测试实现 97% 的可用缓存复用；这些效果属于相关团队的展示结论。
AI 根据报道生成 · 7 分钟前更新
报道时间线
沿着报道，了解事件的不同侧面。
- MarkTechPostGoogle Cloud 发布开源分布式推理栈 llm-d 1.0
Google Cloud 发布开源分布式推理栈 llm-d 1.0，为 TPU 和 GPU 集群提供缓存感知路由与统一推理服务。该版本新增多租户流控、v1 API、路由器高可用、零停机升级、DisaggregatedSet 和智能体感知服务，并将 vLLM 或 SGLang 组成协调资源池。
- SiliconANGLE AIllm-d 1.0 发布，增加企业自托管分布式推理控制
IBM 支持的开源 llm-d 项目发布 1.0，为企业自建基础设施上的大模型分布式推理增加多租户服务质量、零停机升级和面向 AI 智能体的服务模式。版本 1.0 还整合跨 GPU、CPU 内存和存储的缓存信息调度，并在智能体编码测试中实现 97% 的可用缓存复用。IBM 与 Red Hat 展示了同时运行 3,000 个软件工程智能体，其自托管成本比同类托管服务低 5 至 10 倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。