跳到正文
AGI Hunt· jefrankle·· 1 小时前AI 评分28

哈佛论文:简单参数平均 SFA 胜过 replay,节省 36% 训练时间

哈佛论文:简单参数平均 SFA 胜过 replay,省 36% 训练时间

AI 导读

哈佛团队更新预印本《Forget About It: Mitigating Forgetting》,提出在序列微调中对模型进行简单参数平均的 SFA 方法。该方法无需 replay 或额外数据,在持续学习任务上超越 replay 等复杂方法,训练时间最多减少 36%,以缓解灾难性遗忘。

来源:AGI Hunt · agihunt.info