跳到正文
AGI Hunt· jiqizhixin·· 1 小时前AI 评分39

Road MOPD 研究多教师蒸馏梯度冲突,医学场景提升 5.6–8.8 个百分点

Road MOPD:多教师蒸馏互踩问题,医学场景提升 5.6–8.8 个百分点

AI 导读

Domai(RKHQ6QzxYO)与南京大学团队提出 Road MOPD,缓解多个领域教师同时训练共享学生模型时的梯度冲突。该方法依据辅助教师与指定教师对 token 的一致性加权,并通过梯度投影削减冲突分量。在高冲突的数学与医学实验设置中,较原始多教师 on-policy 蒸馏提升 5.6–8.8 个百分点,实现代码待审批后开源。

来源:AGI Hunt · agihunt.info