跳到正文
AGI Hunt· voooooogel·· 3 小时前AI 评分41

研究:多阶段 LLM 训练可拆解为可叠加的任务向量

研究称多阶段训练可拆解为可叠加的任务向量

AI 导读

一项研究提出,多阶段 LLM 训练流程可理解为对权重的增量修改,midtrain 与 RLVR 阶段均可表示为任务向量。将各阶段权重增量相加后结果仍符合预期,理论上中间阶段可以省略,即 final = base + (rlvr − base),为训练过程的可拆解性与可组合性提供新视角。

来源:AGI Hunt · agihunt.info