Buoyant 开源 Kinference 推理控制平面
热点事件持续更新
Buoyant 开源 Kinference 推理控制平面
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Buoyant 开源了 Kinference，这是一款面向 Kubernetes 与 vLLM 的推理控制平面，用于在集群中管理大模型推理流量。 据 vLLM 官方博客介绍，Kinference 提供 token 限流、租户用量与成本追踪、智能负载均衡和推理策略等能力，兼容 OpenAI、Anthropic 协议，并可结合 GPU 队列、历史性能及 KV cache 内容进行推理感知路由。
AI 根据报道生成 · 2 小时前更新
最新进展11月6日 03:00
Buoyant 开源 Kinference，为 Kubernetes + vLLM 提供推理控制平面报道时间线
沿着报道，了解事件的不同侧面。
11月6日
- AGI HuntBuoyant 开源 Kinference，为 Kubernetes + vLLM 提供推理控制平面
vLLM 官方博客介绍了 Buoyant 开源的 Kinference，这是一个面向 Kubernetes + vLLM 的推理控制平面。它复用 vLLM 提供 token 限流、租户用量与成本追踪、智能负载均衡和推理策略等能力，兼容 OpenAI/Anthropic 协议，并可根据 GPU 队列、历史性能和 KV cache 内容进行推理感知路由。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。