Ambient SFT缓解微调遗忘旧能力
热点事件持续更新
Ambient SFT缓解微调遗忘旧能力
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Giannis Daras等研究者提出Ambient SFT,将预微调模型作为“噪声教师”,通过温度匹配训练,在学习新任务时保留模型原有能力。研究者称,该方法可作为标准SFT的即插即用替代方案,在小数据集微调中减少灾难性遗忘,效果较标准SFT最高提升21%。
AI 根据报道生成 · 1 小时前更新
最新进展11月19日 05:41
Ambient SFT 新方法:微调学习新任务时保留旧能力报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- AGI HuntAmbient SFT 新方法:微调学习新任务时保留旧能力
Giannis Daras 等研究者提出 Ambient SFT,将预微调模型作为“噪声教师”,通过温度匹配训练,降低小数据集微调导致的灾难性遗忘。该方法让模型学习新任务的同时保留旧有 abilities,相对标准 SFT 最高提升 21%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。