Google Cloud 发布开源分布式推理栈 llm-d 1.0

Google Cloud 发布开源分布式推理栈 llm-d 1.0，为 TPU 和 GPU 集群提供缓存感知路由与统一推理服务。该版本新增多租户流控、v1 API、路由器高可用、零停机升级、DisaggregatedSet 和智能体感知服务，并将 vLLM 或 SGLang 组成协调资源池。