AGI Hunt· jiqizhixin·· 1 小时前AI 评分39
Road MOPD 研究多教师蒸馏梯度冲突,医学场景提升 5.6–8.8 个百分点
Road MOPD:多教师蒸馏互踩问题,医学场景提升 5.6–8.8 个百分点
AI 导读
Domai(RKHQ6QzxYO)与南京大学团队提出 Road MOPD,缓解多个领域教师同时训练共享学生模型时的梯度冲突。该方法依据辅助教师与指定教师对 token 的一致性加权,并通过梯度投影削减冲突分量。在高冲突的数学与医学实验设置中,较原始多教师 on-policy 蒸馏提升 5.6–8.8 个百分点,实现代码待审批后开源。
来源:AGI Hunt · agihunt.info