AGI Hunt· rohanpaul_ai·· 8 小时前AI 评分32
Salesforce AI Research 论文:自教师蒸馏算力效率显著高于 GRPO
Salesforce 论文:自教师蒸馏算力效率远超 GRPO
AI 导读
Salesforce AI Research 比较在线策略蒸馏(OPD)与 GRPO 在相同训练 FLOPs 下的留存集准确率,评估维度涵盖任务难度、模型规模和领域。结果显示,自教师蒸馏相比 GRPO 可节省约 50 倍 FLOPs,合并领域专家模型还能额外节省 42% 算力。
来源:AGI Hunt · agihunt.info