AGI Hunt· giannis_daras·· 2 小时前AI 评分43
Ambient SFT 新方法:微调学习新任务时保留旧能力
Ambient SFT 新方法:微调学新任务不再遗忘旧能力
AI 导读
Giannis Daras 等研究者提出 Ambient SFT,将预微调模型作为“噪声教师”,通过温度匹配训练,降低小数据集微调导致的灾难性遗忘。该方法让模型学习新任务的同时保留旧有 abilities,相对标准 SFT 最高提升 21%。
来源:AGI Hunt · agihunt.info