跳到正文
AGI Hunt· cneuralnetwork·· 1 小时前AI 评分33

Transformer 注意力连接方式科普谜题:四种经典 Attention 模式

看图猜注意力模式:四种经典 Attention 连接方式

AI 导读

一张「Guess the Attention Pattern」谜题图展示四种经典 Attention 连接方式。A 为仅连接前缀的因果/自回归注意力,B 为双向全连接,C 为相邻 token 互连的滑动窗口/局部注意力,D 为分块局部加跨块连接的块状稀疏注意力。该图可用于测试并讲解 Transformer 注意力变体的差异。

来源:AGI Hunt · agihunt.info