AGI Hunt· zainhas·· 1 小时前AI 评分26
AI 工程师实践:多教师策略蒸馏暂未胜过直接 GRPO
实践者吐槽:多教师策略蒸馏难胜直接 GRPO
AI 导读
AI 工程师 zainhas 分享实验发现:在专域数据集上,多教师策略蒸馏尚未显著优于直接运行 GRPO。其推测原因包括教师与领域数量不足、数据过于简单或其他未知因素,并公开三阶段 MOPD 蒸馏流程:SFT、训练各领域专家教师,再用 Reverse KL 蒸馏至学生模型。
来源:AGI Hunt · agihunt.info