跳到正文
AGI Hunt· rseroter·· 3 小时前AI 评分44

Google Cloud API Gateway 支持流式端点,可用于 LLM 路由

Google Cloud API Gateway 支持流式端点,可用于 LLM 路由

AI 导读

Google Cloud API Gateway 现已支持流式端点,开发者可通过该网关处理 LLM 应用中的流式响应。此前因网关不支持流式响应,开发者往往需要绕开网关直连接口。现在,模型路由和面向智能体的 API 等场景可以使用这一能力。

来源:AGI Hunt · agihunt.info