梯度范数排序实现注意力头稀疏微调

Ruizhe Shi、Banghua Zhu、Maryam Fazel等提出一种语言模型强化学习微调方法：按梯度范数对注意力头排序，仅训练排名靠前的一小部分头。论文报告称，这种稀疏微调在数学、指令遵循和编码任务中可达到与全量微调基线相当的效果。 实验显示，高排名头的微调效果持续优于低排名头，论文还从理论上论证了梯度范数与训练有效性的关联；按任务划分注意力头可减少跨任务干扰，并在持续强化学习中保留旧能力。

AI 根据报道生成 · 57 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。