AWS Machine Learning Blog· Sitaraman Vijay Krishna·· 1 小时前AI 评分62
使用 Amazon Bedrock 和 LiteLLM 构建自助式 LLM 网关
Building a self-service LLM gateway with Amazon Bedrock and LiteLLM
AI 导读
本文演示如何使用 Amazon Bedrock Application Inference Profiles 和运行于 AWS Fargate 的 LiteLLM 构建自助式 LLM 网关，通过 OpenAI 兼容 API 为开发者提供统一模型入口。
来源：AWS Machine Learning Blog · aws.amazon.com