CMU发布大模型持续学习合并嫁接方法
热点事件持续更新
CMU发布大模型持续学习合并嫁接方法
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
CMU研究团队发布大模型持续学习研究及开源代码，提出结合模型合并与嫁接的后训练方法。其实验显示，简单模型合并可强化离线策略监督微调；基于早期检查点学习后再迁移至后训练模型，基本消除旧能力遗忘，并在困难数学、自我改进和知识注入任务中取得提升。 该方法用于让大模型吸收非当前策略产生的数据，同时尽量保留原有能力；相关结论来自团队论文及配套研究博客。
AI 根据报道生成 · 1 小时前更新
最新进展11月3日 03:18
CMU 新研究：模型合并与嫁接让 LLM 持续学习吸收 off-policy 数据并保留旧能力报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- AGI HuntCMU 新研究：模型合并与嫁接让 LLM 持续学习吸收 off-policy 数据并保留旧能力
CMU 研究团队提出模型合并与 grafting（嫁接）方法，让后训练 LLM 吸收 off-policy 数据并减少旧能力遗忘。简单模型合并可强化 off-policy SFT，基于早期 checkpoint 学习后再迁移至后训练模型的方法基本消除遗忘，并在困难数学、自我改进和知识注入任务中取得提升，代码已开源至 GitHub。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。