OPSD自蒸馏无需正确答案仍提分
热点事件持续更新
OPSD自蒸馏无需正确答案仍提分
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
HanGuo97介绍OPSD论文：研究让同一大语言模型同时担任教师和学生的同策略自蒸馏，通过逐token分布差异最小化训练；消融实验显示，使用正确参考解、无参考解和无关参考解时，准确率分别提升1.9、2.2和2.0个百分点，表明收益不依赖教师掌握正确答案。 论文称，OPSD在多个数学推理基准上比强化学习具有更高的token效率，并优于off-policy蒸馏。
AI 根据报道生成 · 1 小时前更新
最新进展10月28日 22:08
OPSD 论文：自蒸馏提分不依赖正确答案，无参考解准确率提升 2.2 个百分点报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- AGI HuntOPSD 论文：自蒸馏提分不依赖正确答案，无参考解准确率提升 2.2 个百分点
OPSD 论文提出让同一个 LLM 同时担任老师与学生的自蒸馏方法，并通过逐 token 分布差异最小化完成训练。老师使用正确参考解、无参考解和无关参考解时，准确率分别提升 +1.9、+2.2 和 +2.0 个百分点，说明自蒸馏并不依赖教师知道答案。OPSD 在多个数学推理 benchmark 上具有更高的 token 效率，并优于 off-policy 蒸馏。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。