跳到正文
AGI Hunt· AWS ML Blog·· 1 小时前AI 评分58

Exa 将嵌入基础设施迁移至 AWS Inferentia2/Trainium2,吞吐提升约 50%

Exa 借 AWS 自研芯片将嵌入吞吐提升 50%,索引数百亿文档

AI 导读

Exa 将网页文档的嵌入基础设施迁移并优化至 AWS Inferentia2/Trainium2,以支撑数百亿份文档的嵌入索引。最终每百万文档的吞吐与成本较基线改善 47%,标题口径为吞吐提升约 50%。所有优化均由 Flyte 工作流中的智能体按验证、测速和剖析流程完成,并通过自定义 kernel 与跨 Region、Spot 和按需实例调度降低成本、提升供应弹性。

来源:AGI Hunt · agihunt.info