跳到正文
AWS Machine Learning Blog· Summer Devlin·· 1 小时前AI 评分40

Exa 在 AWS AI 芯片上将嵌入吞吐量提升 50%,支持索引数十亿文档

Exa boosts embedding throughput by 50% to index billions of documents on AWS AI chips

AI 导读

Exa 通过优化 AWS Inferentia2 和 AWS Trainium2 上的嵌入基础设施,将吞吐量提升约 1.5×,即 50%,以支持数十亿至数千亿文档的索引。优化涵盖权重布局、autocast、NKI 内核、自定义融合 SwiGLU MLP 内核及按模型形状重写注意力内核,以减少 HBM 停顿和无效 FLOPS。

来源:AWS Machine Learning Blog · aws.amazon.com