跳到正文
热点事件持续更新

SFA以参数平均缓解持续学习遗忘

3 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Anat Kleiman、Jonathan Frankle、Sham Kakade等人在预印本《Forget About It》中提出SFA,通过在序列微调期间周期性平均模型参数缓解灾难性遗忘,无需replay、额外数据或辅助损失。 在Qwen3-14B adapter持续学习测试中,作者报告SFA固定配置的平均最终准确率超过所测replay和adaptive-merging配置,任务训练时间最多减少36.3%;在跨语言和视觉任务中,SFA也能与更复杂的持续学习方法竞争。

AI 根据报道生成 · 23 分钟前更新

事件进展

2 个进展

  1. 11月20日 00:38 · 2 篇报道
    更新SFA持续学习预印本
    AGI Hunt:哈佛团队新论文:SFA 击败所测 replay 配置,节省 36.3% 训练时间
  2. 11月20日 00:38 · 1 篇报道
    宣传SFA持续学习研究
    AGI Hunt:SFA 通过模型平均实现持续学习,训练时间最多减少 36%

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. AGI Hunt
    哈佛论文:简单参数平均 SFA 胜过 replay,节省 36% 训练时间

    哈佛团队更新预印本《Forget About It: Mitigating Forgetting》,提出在序列微调中对模型进行简单参数平均的 SFA 方法。该方法无需 replay 或额外数据,在持续学习任务上超越 replay 等复杂方法,训练时间最多减少 36%,以缓解灾难性遗忘。

  2. AGI Hunt
    哈佛团队新论文:SFA 击败所测 replay 配置,节省 36.3% 训练时间

    哈佛团队更新预印本并提出 SFA(Sequential Fine-tuning with Averaging),以周期性参数插值缓解灾难性遗忘。Qwen3-14B adapter 持续学习测试中,SFA 固定配置的平均最终准确率超过所测 replay 与 adaptive-merging 配置,任务训练时间最多减少 36.3%。

  3. AGI Hunt
    SFA 通过模型平均实现持续学习,训练时间最多减少 36%

    《Forget About It》提出 SFA,通过序列微调中的模型平均,在持续学习上超越 replay 等复杂方法。SFA 无需 replay、无需辅助损失,训练时间最多减少 36%,相关细节见 arXiv:2501.05559。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。