TRL支持多教师在线策略蒸馏

Hugging Face TRL 已加入多教师在线策略蒸馏（MOPD）支持，可在一次强化学习训练中融合数学、代码、指令跟随和工具使用等能力；其流程是先做通用 SFT，再按领域训练专家教师，最后由教师逐 token 打分并通过反向 KL 更新学生模型。 目前异步版 AsyncDistillationTrainer 已支持把每个提示路由至对应专家教师；同步版 DistillationTrainer 仍在 PR #7215 中推进。相关实操示例已随讲解公开。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。