AWS Machine Learning Blog· Summer Devlin·· 1 小时前AI 评分40
Exa 在 AWS AI 芯片上将嵌入吞吐量提升 50%,支持索引数十亿文档
Exa boosts embedding throughput by 50% to index billions of documents on AWS AI chips
AI 导读
Exa 通过优化 AWS Inferentia2 和 AWS Trainium2 上的嵌入基础设施,将吞吐量提升约 1.5×,即 50%,以支持数十亿至数千亿文档的索引。优化涵盖权重布局、autocast、NKI 内核、自定义融合 SwiGLU MLP 内核及按模型形状重写注意力内核,以减少 HBM 停顿和无效 FLOPS。
来源:AWS Machine Learning Blog · aws.amazon.com