KAIST 论文发现多语言推理蒸馏中的“教师漂移”风险

KAIST 与高丽大学团队提出 Teachable On-Policy Self-Distillation，通过只在教师仍能有效纠错时蒸馏，抑制多语言推理自蒸馏中的“教师漂移”。该方法在低资源语言中提升了多语言数学推理蒸馏质量。