斯坦福 CS336 第 15 讲详解 DPO 的偏好差与 β 调节机制

斯坦福 CS336 第 15 讲通过构造性例子解释了 DPO 如何比较策略相对参考模型的偏好变化，而非直接比较两个答案的当前概率。示例中，优选答案与拒绝答案的当前概率均为 0.3 时，偏好差仍为 log 2；β 越大，策略在相同 reward 下偏离参考分布越克制。讲座还覆盖 SFT、mid-training、偏好收集、PPO 与 DPO，并指出标注者奖励中往往混杂事实正确性、长度和格式等因素。