可教学前缀蒸馏缓解多语言推理教师漂移

KAIST与高丽大学团队提出“可教学前缀蒸馏”方法，用于多语言推理中的自蒸馏。研究发现，学生模型在中间步骤累积错误后，原本充当教师的同一模型可能不再有效纠错，反而沿着学生的错误继续推理，形成“教师漂移”；该方法通过仅在教师仍能有效纠错时进行蒸馏来抑制这一风险。 实验显示，这一策略提升了低资源语言中的多语言数学推理蒸馏质量。

AI 根据报道生成 · 22 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。