KubeCon 热点：Kubernetes 上的 LLM 推理架构五大组件拆解

KubeCon 本周的核心议题是 LLM 推理，文章拆解了其在 Kubernetes 上生产化部署的五类关键组件。GPU 资源由 DRA、KEDA、Karpenter 和 Kueue 管理，vLLM 通过 PagedAttention 优化 KV 缓存，网关负责路由，llm-d 执行缓存感知调度，Agent 则需要沙箱隔离。