慕尼黑工大提出 MTA-OPSD：训练时为每个 token 选不同教师

TU München 团队在 arXiv 发布论文，提出 MTA-OPSD，在 On-policy Self-Distillation（OPSD）训练中为每个 token 选择不同教师。研究先通过教师干预实验验证教师偏好会随 token 变化，再以多数投票和基于 KL 的选择确定首选教师；该方法在数学推理任务上优于固定教师方案。