Buoyant 开源 Kinference，为 Kubernetes + vLLM 提供推理控制平面

vLLM 官方博客介绍了 Buoyant 开源的 Kinference，这是一个面向 Kubernetes + vLLM 的推理控制平面。它复用 vLLM 提供 token 限流、租户用量与成本追踪、智能负载均衡和推理策略等能力，兼容 OpenAI/Anthropic 协议，并可根据 GPU 队列、历史性能和 KV cache 内容进行推理感知路由。