Google 联合 Red Hat/IBM 发布 llm-d 1.0，千级 Agent 实测分布式推理

Google 联合 Red Hat、IBM 等组织发布开源、Kubernetes 原生的分布式 LLM 推理服务栈 llm-d 1.0。该项目由 25 个组织的 500 多名贡献者参与，提供 cache-aware 路由、多租户流量控制、分层 KV cache 和高可用能力。