AGI Hunt· Guangzeng Han·· 3 小时前AI 评分36
O³PD 蒸馏法:仅匹配 token 排序即可提升推理且免调温度
新蒸馏法 O³PD:只匹配 token 排序即可提升推理,免调温度
AI 导读
Order-Only On-Policy Distillation(O³PD)提出仅匹配教师模型 token 排序的蒸馏方式,在无需温度调节的情况下提升学生模型推理表现。相较匹配 token 概率值的传统 OPD 和模仿单一选择的 SFT,O³PD 只需对齐教师偏好顺序。
来源:AGI Hunt · agihunt.info