RoPE 或只是近因偏置：远距匹配退化为噪声

Andreas Kirsch（BlackHC）结合 Barbero 等人的研究分析 RoPE 的匹配机制，发现不同旋转速度会使远距 key 与 query 的匹配项逐渐失相。Gemma 实验中仅 9 对维度能在 4K token 距离上保持匹配，且在预训练后期可近乎无损地移除 RoPE。