RLHF覆盖塌缩理论解释奖励与生成脱钩
热点事件持续更新
RLHF覆盖塌缩理论解释奖励与生成脱钩
2 篇报道1 个报道来源53 分钟前更新
先了解这件事
AI 综述
江楠与Sham Kakade等人提出后训练策略优化理论，指出在仅假设初始模型具备覆盖时，REINFORCE类策略梯度方法可能出现“覆盖塌缩”，计算复杂度随训练时间指数级增长并收敛极慢；论文后续以“Coverage Collapse and Reference Resets”为题发布。 论文认为，策略正则化可缓解这一问题。burny_tech对论文的解读进一步指出，强化学习可能使模型生成最优响应（如遗忘最佳答案）的概率逐渐下降，即使平均奖励仍在上升，因而奖励改善并不必然意味着模型保留了生成优质答案的能力；该解读同时介绍了论文的APMD对策。
AI 根据报道生成 · 28 分钟前更新
最新进展11月14日 00:02
论文揭示 LLM 强化学习训练中的覆盖坍缩现象事件进展
2 个进展
- 11月14日 00:02 · 1 篇报道解读覆盖坍缩论文与APMD对策AGI Hunt：论文揭示 LLM 强化学习训练中的覆盖坍缩现象
- 11月11日 13:12 · 1 篇报道提出RLHF覆盖塌缩理论AGI Hunt：《A Theory of Policy Optimization in Post-Training》揭示 RLHF「覆盖塌缩」，策略正则化可解决指数慢收敛
报道时间线
沿着报道，了解事件的不同侧面。
11月14日
- AGI Hunt论文揭示 LLM 强化学习训练中的覆盖坍缩现象
论文《A Theory of Policy Optimization in Post-Training: Coverage Collapse and Reference Resets》指出，RL 可能让 LLM 逐渐降低生成最优响应的概率，即使平均奖励仍在上升。
11月11日
- AGI Hunt《A Theory of Policy Optimization in Post-Training》揭示 RLHF「覆盖塌缩」，策略正则化可解决指数慢收敛
《A Theory of Policy Optimization in Post-Training》揭示，仅假设初始模型具有覆盖时，REINFORCE 类策略梯度方法可能出现「覆盖塌缩」，使 RLHF 复杂度随时间指数级增长并收敛极慢。该理论指出，近年实践采用的策略正则化方法可以解决这一问题，为后训练策略优化提供理论解释。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 1011月11日 14:00
- 近 24 小时变化
- -50%
02.557.510
11月12日12:0011月13日12:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。