LLM 强化学习 48 页长文梳理 14 种 Off-Policy 漂移修正方法

Chris Liu 发布 48 页长文《Off-Policy Drift in LLM RL》，系统梳理大模型 RL 中训练与推理失配导致的 Off-Policy 漂移。文章覆盖 14 种 advantage estimator 与 R3、IcePop、QUATRO、MinPRO、SAPO、GSPO、OAPL、KL-cov、R²VPO、DISPO 等修正方法，并提供诊断决策树和统一对比图。