Transformer为何需要位置编码

1. 15:36
   AGI Hunt

   为什么不能直接去掉 Transformer 的位置编码：置换等变性

   没有位置信息的 Transformer 自注意力具有置换等变性，打乱输入 token 顺序只会让输出相应重排，无法区分各 token 的先后。理解这一数学机制，才能把握 Transformer 位置编码为何必要，而非只记住架构结论。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。