分析揭示RoPE的近因偏置与远距匹配限制

1. 00:42
   AGI Hunt

   RoPE 或只是近因偏置：远距匹配退化为噪声

   Andreas Kirsch（BlackHC）结合 Barbero 等人的研究分析 RoPE 的匹配机制，发现不同旋转速度会使远距 key 与 query 的匹配项逐渐失相。Gemma 实验中仅 9 对维度能在 4K token 距离上保持匹配，且在预训练后期可近乎无损地移除 RoPE。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。