跳到正文
热点事件持续更新

黄仁勋漫画系列图解滑动窗口注意力

2 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

cfregly 宣布由 O’Reilly 出版的《AI Systems Performance Engineering, the Huang Edition》系列上线,并以 Jensen、Lori 和 Alice Huang 三个卡通角色讲解 AI 系统概念。其节选图解滑动窗口注意力(SWA):每个 query 只能访问自身槽位及此前两个槽位;窗口前移后,较早的 Lori token 离开可见范围,形成“选择性记忆”。 节选援引的 Mistral 7B 论文称,SWA 是该模型以较低推理成本处理任意长度序列的核心技术之一。

AI 根据报道生成 · 2 小时前更新

事件进展

2 个进展

  1. 11月11日 03:24 · 1 篇报道
    发布滑动窗口注意力图解节选
    AGI Hunt:AGI Hunt 用黄仁勋漫画讲清滑动窗口注意力:窗口滑过旧 token 即被遗忘
  2. 11月11日 03:24 · 1 篇报道
    上线AI系统性能工程系列
    AGI Hunt:「AI 系统性能工程:黄氏版」系列上线

报道时间线

沿着报道,了解事件的不同侧面。

11月11日
  1. AGI Hunt
    AGI Hunt 用黄仁勋漫画讲清滑动窗口注意力:窗口滑过旧 token 即被遗忘

    cfregly 发布系列节选,用 Jensen、Lori、Alice Huang 三个卡通角色图解滑动窗口注意力(SWA)。每个 query 只能看到自身槽位和前 2 个槽位,旧 Lori token 随窗口前移被遗忘;Mistral 7B 论文链接指出,SWA 是该模型以更低推理成本处理任意长度序列的核心技术之一。

  2. AGI Hunt
    「AI 系统性能工程:黄氏版」系列上线

    cfregly 宣布由 O'Reilly 出版的「AI Systems Performance Engineering, the Huang Edition」系列上线,以 Jensen、Lori 和 Alice Huang 三个卡通角色讲解 AI 系统概念。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。