RL 训练扩散模型长文：DPO 只能比较优劣，奖励函数才能定位错误

Anvilarth 博客发布《RL for Diffusion Models: Part 1》，用约 27 分钟篇幅解释偏好优化之后为何仍需 RL。文章指出，DPO 的成对胜负样本只能判断结果优劣，无法说明模型具体错在何处；已有可用 reward model 时，可用检测器计数、OCR 核验文字及美学打分等 reward 定位并优化生成错误。