Kubernetes 适合 vLLM 推理，但百万并发智能体沙箱采用 Modal 专用方案

NielsRogge 认为 Kubernetes 适合运行 AI 推理负载，vLLM production-stack 可在不修改应用代码的情况下从单实例扩展到分布式，并支持 KV cache 感知路由、负载感知路由、prefix 感知路由、跨实例共享 KV cache 和分离式 prefill。