跳到正文
AGI Hunt· jkriket·· 3 小时前AI 评分61

开源网关 Zilla 加入 LLM 网关支持

开源网关 Zilla 加入 LLM 支持:难点是保住原生 API 特性而非路由

AI 导读

开源项目 Zilla 宣布支持 LLM 网关,在统一表示 messages、tools 和 usage 等共同概念的同时保留厂商特有细节。同方言请求可完整保留 caching 标记与 thinking 签名,跨方言请求则尽量映射 reasoning effort,并让治理策略覆盖每条路由。

来源:AGI Hunt · agihunt.info