黄仁勋漫画系列图解滑动窗口注意力
热点事件持续更新
黄仁勋漫画系列图解滑动窗口注意力
2 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
cfregly 宣布由 O’Reilly 出版的《AI Systems Performance Engineering, the Huang Edition》系列上线,并以 Jensen、Lori 和 Alice Huang 三个卡通角色讲解 AI 系统概念。其节选图解滑动窗口注意力(SWA):每个 query 只能访问自身槽位及此前两个槽位;窗口前移后,较早的 Lori token 离开可见范围,形成“选择性记忆”。 节选援引的 Mistral 7B 论文称,SWA 是该模型以较低推理成本处理任意长度序列的核心技术之一。
AI 根据报道生成 · 2 小时前更新
最新进展11月11日 03:24
AGI Hunt 用黄仁勋漫画讲清滑动窗口注意力:窗口滑过旧 token 即被遗忘事件进展
2 个进展
- 11月11日 03:24 · 1 篇报道发布滑动窗口注意力图解节选AGI Hunt:AGI Hunt 用黄仁勋漫画讲清滑动窗口注意力:窗口滑过旧 token 即被遗忘
- 11月11日 03:24 · 1 篇报道上线AI系统性能工程系列AGI Hunt:「AI 系统性能工程:黄氏版」系列上线
报道时间线
沿着报道,了解事件的不同侧面。
11月11日
- AGI HuntAGI Hunt 用黄仁勋漫画讲清滑动窗口注意力:窗口滑过旧 token 即被遗忘
cfregly 发布系列节选,用 Jensen、Lori、Alice Huang 三个卡通角色图解滑动窗口注意力(SWA)。每个 query 只能看到自身槽位和前 2 个槽位,旧 Lori token 随窗口前移被遗忘;Mistral 7B 论文链接指出,SWA 是该模型以更低推理成本处理任意长度序列的核心技术之一。
- AGI Hunt「AI 系统性能工程:黄氏版」系列上线
cfregly 宣布由 O'Reilly 出版的「AI Systems Performance Engineering, the Huang Edition」系列上线,以 Jensen、Lori 和 Alice Huang 三个卡通角色讲解 AI 系统概念。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。