MIT提出权重扰动后训练方法

MIT研究人员Yulu Gan与Phillip Isola发表论文，提出一种全并行的大模型后训练方法：随机采样多个权重扰动版本，选取表现最好的K个版本，并通过多数投票集成预测。论文称，这种方法无需强化学习训练，也能提升任务表现，效果可与PPO相比。 研究的核心思路是利用预训练权重附近密集存在的多种任务专家，通过扰动和筛选获得适合不同任务的模型变体，再以集成方式完成预测。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。