FastAPI 自建 LLM 代理：何时迁移至 LiteLLM、Portkey 等专业 LLM 网关

一位工程师以 FastAPI 自建 LLM 代理，在扩展到 3 个团队、4 个应用并共用两把 API key 后，遭遇用量限额、请求追踪、计费归因、数据脱敏和日志扩展等瓶颈，并向社区征询是否迁移至 LiteLLM、Portkey 等专业 LLM 网关。相关讨论聚焦多团队 LLM 基础设施从轻量代理演进为网关时面临的问题。