跳到正文
热点事件持续更新

Exa优化AWS芯片嵌入吞吐量

2 篇报道2 个报道来源53 分钟前更新

先了解这件事

AI 综述

Exa称,通过调整权重布局、autocast、NKI及注意力与融合SwiGLU内核,其部署在AWS Inferentia2和Trainium2上的向量化嵌入吞吐量约提升50%,最终每百万文档嵌入的性能和成本较初始基线改善47%,以支撑数十亿至数千亿文档索引。 目前仅完成Inferentia2在美西俄勒冈地域(us-west-2)的调优,尚未覆盖全部芯片型号和地域;验证流程编译NEFF Neuron可执行文件,并将前向输出与标准模型进行余弦相似度比较,要求达到0.999。

AI 根据报道生成 · 26 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. AGI Hunt
    Exa 将嵌入基础设施迁移至 AWS Inferentia2/Trainium2,吞吐提升约 50%

    Exa 将网页文档的嵌入基础设施迁移并优化至 AWS Inferentia2/Trainium2,以支撑数百亿份文档的嵌入索引。最终每百万文档的吞吐与成本较基线改善 47%,标题口径为吞吐提升约 50%。所有优化均由 Flyte 工作流中的智能体按验证、测速和剖析流程完成,并通过自定义 kernel 与跨 Region、Spot 和按需实例调度降低成本、提升供应弹性。

  2. AWS Machine Learning Blog
    Exa 在 AWS AI 芯片上将嵌入吞吐量提升 50%,支持索引数十亿文档

    Exa 通过优化 AWS Inferentia2 和 AWS Trainium2 上的嵌入基础设施,将吞吐量提升约 1.5×,即 50%,以支持数十亿至数千亿文档的索引。优化涵盖权重布局、autocast、NKI 内核、自定义融合 SwiGLU MLP 内核及按模型形状重写注意力内核,以减少 HBM 停顿和无效 FLOPS。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。