Partial RoPE 研究显示旋转约 10% 维度即可接近全 RoPE 收敛

研究团队从零预训练 55 个模型，评估 Partial RoPE 在不同旋转比例下的收敛与性能。仅旋转约 10% 的维度即可接近全 RoPE 的收敛损失带，同时将 RoPE cache 最高缩小 10 倍。LAMBADA 上 10% 旋转的困惑度为 11.86±0.39，接近 100% 旋转的 11.78±0.39；完全不旋转的 NoPE 则会出现损失尖峰。