《A Theory of Policy Optimization in Post-Training》揭示 RLHF「覆盖塌缩」，策略正则化可解决指数慢收敛

《A Theory of Policy Optimization in Post-Training》揭示，仅假设初始模型具有覆盖时，REINFORCE 类策略梯度方法可能出现「覆盖塌缩」，使 RLHF 复杂度随时间指数级增长并收敛极慢。该理论指出，近年实践采用的策略正则化方法可以解决这一问题，为后训练策略优化提供理论解释。