跳到正文
AGI Hunt· finbarrtimbers·· 3 小时前AI 评分40

新论文:Score Centering 校正项稳定 LLM 强化学习中的训练推理失配

新论文:Score Centering 校正项让 LLM 强化学习不再怕训练推理失配

AI 导读

Martin Marek、Max Ryabinin 的新论文提出 Score Centering 校正项,通过抵消训练与推理引擎间随训练步数累积的 drift,稳定 LLM 强化学习。该方法在 0.6B30B 模型上匹敌或超过 importance sampling,并可与之叠加,在 staleness 实验中优于纯 IS 基线。

来源:AGI Hunt · agihunt.info