SFA以参数平均缓解持续学习遗忘
热点事件持续更新
SFA以参数平均缓解持续学习遗忘
3 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Anat Kleiman、Jonathan Frankle、Sham Kakade等人在预印本《Forget About It》中提出SFA,通过在序列微调期间周期性平均模型参数缓解灾难性遗忘,无需replay、额外数据或辅助损失。 在Qwen3-14B adapter持续学习测试中,作者报告SFA固定配置的平均最终准确率超过所测replay和adaptive-merging配置,任务训练时间最多减少36.3%;在跨语言和视觉任务中,SFA也能与更复杂的持续学习方法竞争。
AI 根据报道生成 · 23 分钟前更新
最新进展11月20日 00:38
哈佛论文:简单参数平均 SFA 胜过 replay,节省 36% 训练时间事件进展
2 个进展
- 11月20日 00:38 · 2 篇报道更新SFA持续学习预印本AGI Hunt:哈佛团队新论文:SFA 击败所测 replay 配置,节省 36.3% 训练时间
- 11月20日 00:38 · 1 篇报道宣传SFA持续学习研究AGI Hunt:SFA 通过模型平均实现持续学习,训练时间最多减少 36%
报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- AGI Hunt哈佛论文:简单参数平均 SFA 胜过 replay,节省 36% 训练时间
哈佛团队更新预印本《Forget About It: Mitigating Forgetting》,提出在序列微调中对模型进行简单参数平均的 SFA 方法。该方法无需 replay 或额外数据,在持续学习任务上超越 replay 等复杂方法,训练时间最多减少 36%,以缓解灾难性遗忘。
- AGI Hunt哈佛团队新论文:SFA 击败所测 replay 配置,节省 36.3% 训练时间
哈佛团队更新预印本并提出 SFA(Sequential Fine-tuning with Averaging),以周期性参数插值缓解灾难性遗忘。Qwen3-14B adapter 持续学习测试中,SFA 固定配置的平均最终准确率超过所测 replay 与 adaptive-merging 配置,任务训练时间最多减少 36.3%。
- AGI HuntSFA 通过模型平均实现持续学习,训练时间最多减少 36%
《Forget About It》提出 SFA,通过序列微调中的模型平均,在持续学习上超越 replay 等复杂方法。SFA 无需 replay、无需辅助损失,训练时间最多减少 36%,相关细节见 arXiv:2501.05559。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。