跳到正文
热点事件持续更新

Ambient SFT缓解微调遗忘旧能力

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Giannis Daras等研究者提出Ambient SFT,将预微调模型作为“噪声教师”,通过温度匹配训练,在学习新任务时保留模型原有能力。研究者称,该方法可作为标准SFT的即插即用替代方案,在小数据集微调中减少灾难性遗忘,效果较标准SFT最高提升21%。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. AGI Hunt
    Ambient SFT 新方法:微调学习新任务时保留旧能力

    Giannis Daras 等研究者提出 Ambient SFT,将预微调模型作为“噪声教师”,通过温度匹配训练,降低小数据集微调导致的灾难性遗忘。该方法让模型学习新任务的同时保留旧有 abilities,相对标准 SFT 最高提升 21%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。