Score Centering缓解大模型强化学习漂移
热点事件持续更新
Score Centering缓解大模型强化学习漂移
2 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
finbarrtimbers介绍Score Centering：通过从模型分数中减去偏置项，抵消强化学习训练与推理引擎之间随训练步数累积的漂移，缓解两者不一致造成的失配。 Martin Marek、Max Ryabinin的新论文称，该方法在0.6B至30B模型上的表现匹敌或超过importance sampling，也可与后者叠加；在模型陈旧度实验中，其效果优于纯importance sampling基线。
AI 根据报道生成 · 2 小时前更新
最新进展10月25日 21:04
新论文：Score Centering 校正项稳定 LLM 强化学习中的训练推理失配报道时间线
沿着报道，了解事件的不同侧面。
10月25日
- AGI Hunt新论文：Score Centering 校正项稳定 LLM 强化学习中的训练推理失配
Martin Marek、Max Ryabinin 的新论文提出 Score Centering 校正项，通过抵消训练与推理引擎间随训练步数累积的 drift，稳定 LLM 强化学习。该方法在 0.6B30B 模型上匹敌或超过 importance sampling，并可与之叠加，在 staleness 实验中优于纯 IS 基线。
- AGI HuntScore centering 通过减偏置项抵消 RL 训练与推理引擎漂移
Score centering 通过减去偏置项，抵消 RL 训练与推理引擎之间的漂移，缓解训练与推理不一致造成的 mismatch。该方法利用校正项校正模型分数，帮助 LLM 强化学习降低训练推理失配带来的影响。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。