CS336第15讲解析DPO机制
热点事件持续更新
CS336第15讲解析DPO机制
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
斯坦福CS336第15讲用构造性例子说明，DPO比较的是策略模型相对参考模型对优选答案与拒绝答案的偏好变化，而非直接比较两个答案当前的概率。 当优选答案和拒绝答案在策略模型中的当前概率同为0.3时，偏好差仍可为log 2；β越大，策略模型在相同奖励下偏离参考分布越克制。讲座还指出，偏好标注中的奖励常同时受事实正确性、长度和格式等因素影响。
AI 根据报道生成 · 3 小时前更新
最新进展10月31日 04:41
斯坦福 CS336 第 15 讲详解 DPO 的偏好差与 β 调节机制报道时间线
沿着报道，了解事件的不同侧面。
10月31日
- AGI Hunt斯坦福 CS336 第 15 讲详解 DPO 的偏好差与 β 调节机制
斯坦福 CS336 第 15 讲通过构造性例子解释了 DPO 如何比较策略相对参考模型的偏好变化，而非直接比较两个答案的当前概率。示例中，优选答案与拒绝答案的当前概率均为 0.3 时，偏好差仍为 log 2；β 越大，策略在相同 reward 下偏离参考分布越克制。讲座还覆盖 SFT、mid-training、偏好收集、PPO 与 DPO，并指出标注者奖励中往往混杂事实正确性、长度和格式等因素。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1010月31日 05:00
- 近 24 小时变化
- –
02.557.510
05:0006:0007:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。