跳到正文
AGI Hunt· Creepy_Wave_6767·· 3 小时前AI 评分63

LiteLLM Brownout 开源,为团队预算超限提供模型降级

LiteLLM Brownout 开源:团队预算吃紧时自动降级到更便宜模型

AI 导读

开发者开源 LiteLLM Brownout 插件,在团队周预算耗尽前按设定百分比逐步将指定路由切换至更便宜模型,避免所有请求被直接拒绝。插件通过一条命令读取现有网关并生成可审阅配置,支持 Docker Compose、Kubernetes 和 pip,并在降级前检查回退模型对调用者 key 的定价与可用性。

来源:AGI Hunt · agihunt.info