Exa优化AWS芯片嵌入吞吐量
热点事件持续更新
Exa优化AWS芯片嵌入吞吐量
2 篇报道2 个报道来源53 分钟前更新
先了解这件事
AI 综述
Exa称,通过调整权重布局、autocast、NKI及注意力与融合SwiGLU内核,其部署在AWS Inferentia2和Trainium2上的向量化嵌入吞吐量约提升50%,最终每百万文档嵌入的性能和成本较初始基线改善47%,以支撑数十亿至数千亿文档索引。 目前仅完成Inferentia2在美西俄勒冈地域(us-west-2)的调优,尚未覆盖全部芯片型号和地域;验证流程编译NEFF Neuron可执行文件,并将前向输出与标准模型进行余弦相似度比较,要求达到0.999。
AI 根据报道生成 · 26 分钟前更新
最新进展11月19日 07:58
Exa 将嵌入基础设施迁移至 AWS Inferentia2/Trainium2,吞吐提升约 50%报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- AGI HuntExa 将嵌入基础设施迁移至 AWS Inferentia2/Trainium2,吞吐提升约 50%
Exa 将网页文档的嵌入基础设施迁移并优化至 AWS Inferentia2/Trainium2,以支撑数百亿份文档的嵌入索引。最终每百万文档的吞吐与成本较基线改善 47%,标题口径为吞吐提升约 50%。所有优化均由 Flyte 工作流中的智能体按验证、测速和剖析流程完成,并通过自定义 kernel 与跨 Region、Spot 和按需实例调度降低成本、提升供应弹性。
- AWS Machine Learning BlogExa 在 AWS AI 芯片上将嵌入吞吐量提升 50%,支持索引数十亿文档
Exa 通过优化 AWS Inferentia2 和 AWS Trainium2 上的嵌入基础设施,将吞吐量提升约 1.5×,即 50%,以支持数十亿至数千亿文档的索引。优化涵盖权重布局、autocast、NKI 内核、自定义融合 SwiGLU MLP 内核及按模型形状重写注意力内核,以减少 HBM 停顿和无效 FLOPS。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。