LeRoPE 论文：将 RoPE 频率改为可学习参数，节省 3.4% 算力

LeRoPE 论文提出将 RoPE 位置编码中按几何序列固定的旋转频率改为逐频率可学习的标量参数。团队从零训练了 52M 至 2.5B 参数的模型验证，LeRoPE 在所有规模上稳定优于 RoPE 和 partial RoPE，最大规模下可少用 3.4% 的 FLOPs。