论文揭示 LLM 强化学习训练中的覆盖坍缩现象

论文《A Theory of Policy Optimization in Post-Training: Coverage Collapse and Reference Resets》指出，RL 可能让 LLM 逐渐降低生成最优响应的概率，即使平均奖励仍在上升。