AGI Hunt· rseroter·· 3 小时前AI 评分44
Google Cloud API Gateway 支持流式端点,可用于 LLM 路由
Google Cloud API Gateway 支持流式端点,可用于 LLM 路由
AI 导读
Google Cloud API Gateway 现已支持流式端点,开发者可通过该网关处理 LLM 应用中的流式响应。此前因网关不支持流式响应,开发者往往需要绕开网关直连接口。现在,模型路由和面向智能体的 API 等场景可以使用这一能力。
来源:AGI Hunt · agihunt.info