跳到正文
AGI Hunt· cfregly·· 3 小时前AI 评分46

AGI Hunt 用黄仁勋漫画讲清滑动窗口注意力:窗口滑过旧 token 即被遗忘

用黄仁勋漫画讲清滑动窗口注意力:窗口滑过旧token即被遗忘

AI 导读

cfregly 发布系列节选,用 Jensen、Lori、Alice Huang 三个卡通角色图解滑动窗口注意力(SWA)。每个 query 只能看到自身槽位和前 2 个槽位,旧 Lori token 随窗口前移被遗忘;Mistral 7B 论文链接指出,SWA 是该模型以更低推理成本处理任意长度序列的核心技术之一。

来源:AGI Hunt · agihunt.info