跳到正文
AGI Hunt· WAMFT·· 4 小时前AI 评分39

开发者提出 GAP 架构:门控单块融合注意力与 MLP,省 20% 参数

开发者提出 GAP 架构:门控单块融合注意力与 MLP,省 20% 参数

AI 导读

Reddit 用户 rickey1990 发布实验性 Transformer 架构 GAP(Gated Attention Projection),用单个门控块合并注意力与 MLP 式处理,取代分离式注意力/前馈子层。

来源:AGI Hunt · agihunt.info