跳到正文
AGI Hunt· stepfun-ai·· 3 小时前AI 评分29

阶跃星辰发布 P²-MOPD:用参数先验加速多教师在线策略蒸馏

阶跃发布 P²-MOPD:用参数先验加速多教师在线策略蒸馏

AI 导读

阶跃星辰在 Hugging Face 发布 P²-MOPD 方法,通过联合优化教师混合系数与学生权重,将冻结专家模型权重作为学生的参数先验。该方法端到端构建为可微模型,相比此前的 MOPD 恢复速度更快且更均衡。

来源:AGI Hunt · agihunt.info