Partial RoPE研究展示10%旋转近似全量效果
热点事件持续更新
Partial RoPE研究展示10%旋转近似全量效果
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
BlancheMinerva团队展示论文《Fractional Rotation, Full Potential? Investigating Performance and Convergence of Partial RoPE》，实验显示旋转约10%的维度即可接近全RoPE的收敛损失带，并将RoPE cache最高缩小10倍。团队从零预训练55个1B与8B模型，在FineWeb-Edu、100B tokens及1024–8192序列长度下评估不同旋转比例；LAMBADA上10%旋转的困惑度为11.86±0.39，接近100%旋转的11.78±0.39。 完全不旋转的NoPE会出现训练损失尖峰；加入QK-Norm虽能消除尖峰，但损失仍偏高。
AI 根据报道生成 · 57 分钟前更新
最新进展10月26日 22:34
Partial RoPE 研究显示旋转约 10% 维度即可接近全 RoPE 收敛报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- AGI HuntPartial RoPE 研究显示旋转约 10% 维度即可接近全 RoPE 收敛
研究团队从零预训练 55 个模型，评估 Partial RoPE 在不同旋转比例下的收敛与性能。仅旋转约 10% 的维度即可接近全 RoPE 的收敛损失带，同时将 RoPE cache 最高缩小 10 倍。LAMBADA 上 10% 旋转的困惑度为 11.86±0.39，接近 100% 旋转的 11.78±0.39；完全不旋转的 NoPE 则会出现损失尖峰。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。