AGI Hunt· 2shanigans·· 1 小时前精选AI 评分77
开源 LLM 代理 Olla 发布 v0.1.0，增加多后端故障转移与 Hugging Face TEI 支持
开源 LLM 代理 Olla 发布 v0.1.0：多后端统一负载均衡与故障转移
AI 导读
Go 编写的开源 LLM 代理 Olla 发布 v0.1.0，提供模型感知路由、负载均衡、故障转移、sticky sessions 和统一兼容接口。其 v0.1.0 新增 Hugging Face TEI 支持、重构 dashboard，并改进重试、非幂等请求处理及 vision/tool calling 能力检测。
推荐理由
Olla v0.1.0 补齐多后端路由、故障转移与统一接口，为本地多推理运行时管理提供可迁移方案。
来源：AGI Hunt · agihunt.info