AWS Machine Learning Blog· Aswath Ram A Srinivasan·· 1 小时前AI 评分50
使用 NVIDIA NeMo Switchyard 在 Amazon Bedrock 上为编码智能体请求选择合适模型
Route coding agent requests to the right model on Amazon Bedrock with NVIDIA NeMo Switchyard
AI 导读
NVIDIA NeMo Switchyard 可在 Amazon Bedrock 上按请求为编码智能体选择模型，并以每个通过测试的任务成本评估路由效果。其 LiteLLM 集成支持 Stage 与 Random 两种策略，示例通过 AWS CDK 部署网关，并用基准运行器比较路由模型组与单一模型基线。
来源：AWS Machine Learning Blog · aws.amazon.com