AGI Hunt· voooooogel·· 3 小时前AI 评分41
研究:多阶段 LLM 训练可拆解为可叠加的任务向量
研究称多阶段训练可拆解为可叠加的任务向量
AI 导读
一项研究提出,多阶段 LLM 训练流程可理解为对权重的增量修改,midtrain 与 RLVR 阶段均可表示为任务向量。将各阶段权重增量相加后结果仍符合预期,理论上中间阶段可以省略,即 final = base + (rlvr − base),为训练过程的可拆解性与可组合性提供新视角。
来源:AGI Hunt · agihunt.info