跳到正文
热点事件持续更新

输入扰动改善预训练蒸馏效果

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Jack Cai、Yihe Dong、Dimitris Papail与Shivam Garg在论文《Perturbing Inputs Improves Pretraining Distillation》中提出:预训练蒸馏前半程同时对教师和学生的输入加入扰动,让学生匹配教师在扰动文本上的预测,随后切回干净文本。 实验显示,在相同训练步数和token预算下,该方法优于标准蒸馏;在数据受限及多轮重复数据的设置中同样取得增益。

AI 根据报道生成 · 40 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月16日
  1. AGI Hunt
    预训练蒸馏为何加入输入噪声更优:新论文实测增益显著

    论文《Perturbing Inputs Improves Pretraining Distillation》提出在预训练蒸馏前半程为师生双方加入输入扰动,实测优于标准蒸馏。训练前半程由小模型学生匹配教师在扰动输入上的预测,之后切回干净文本;在相同训练步数与 token 预算下均见增益,数据受限和多 epoch 重复数据场景同样有效。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。