AGI Hunt· cneuralnetwork·· 4 小时前AI 评分42
为什么不能直接去掉 Transformer 的位置编码:置换等变性
为什么不能直接去掉 Transformer 的位置编码?答案是置换等变性
AI 导读
没有位置信息的 Transformer 自注意力具有置换等变性,打乱输入 token 顺序只会让输出相应重排,无法区分各 token 的先后。理解这一数学机制,才能把握 Transformer 位置编码为何必要,而非只记住架构结论。
来源:AGI Hunt · agihunt.info