慕尼黑工大发布逐词元选师训练方法

慕尼黑工业大学团队在 arXiv 发布论文，提出 MTA-OPSD，用于在 On-policy Self-Distillation（OPSD）训练中为每个 token 动态选择不同教师，而非全程使用固定教师。 研究先通过教师干预实验发现，教师偏好在不同 token 间会变化，再结合多数投票与基于 KL 的选择确定首选教师。论文称，该方法在数学推理任务上的表现优于固定教师方案。

AI 根据报道生成 · 54 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。