自蒸馏用同一模型生成训练信号

自蒸馏研究提出让同一模型分别充当教师和学生：向教师副本提供标准答案、失败测试或编译器错误等额外信息，再训练学生逐 token 匹配教师的输出，从而生成比常规训练更丰富的信号，无需依赖更大、更贵的外部教师。 研究同时指出，若奖励机制偏向让教师直接给出答案，模型可能弱化面对陌生问题时的验证行为。其效果取决于额外信息和奖励设计，并非对所有问题都能自动提升推理能力。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。