OPSD 论文：自蒸馏提分不依赖正确答案，无参考解准确率提升 2.2 个百分点

OPSD 论文提出让同一个 LLM 同时担任老师与学生的自蒸馏方法，并通过逐 token 分布差异最小化完成训练。老师使用正确参考解、无参考解和无关参考解时，准确率分别提升 +1.9、+2.2 和 +2.0 个百分点，说明自蒸馏并不依赖教师知道答案。OPSD 在多个数学推理 benchmark 上具有更高的 token 效率，并优于 off-policy 蒸馏。