跳到正文
AGI Hunt· heghbalz·· 3 小时前AI 评分43

CMU 论文提出 unified training:预训练到后训练只用一个算法

CMU 论文提出 unified training:预训练到后训练只用一个算法,换数据即可

AI 导读

CMU 联合 Johns Hopkins 与 Aurora 的论文提出 unified training,将预训练、SFT 与合适的 RL 目标统一为单一似然目标。控制实验与真实实验显示,同等总算力预算下,该方法比分阶段训练获得更高准确率与任务覆盖,并为持续学习提供更强起点。

来源:AGI Hunt · agihunt.info