跳到正文
AGI Hunt· DimitrisPapail·· 1 小时前AI 评分30

预训练蒸馏为何加入输入噪声更优:新论文实测增益显著

预训练蒸馏加一点输入噪声反而更优,新论文实测增益显著

AI 导读

论文《Perturbing Inputs Improves Pretraining Distillation》提出在预训练蒸馏前半程为师生双方加入输入扰动,实测优于标准蒸馏。训练前半程由小模型学生匹配教师在扰动输入上的预测,之后切回干净文本;在相同训练步数与 token 预算下均见增益,数据受限和多 epoch 重复数据场景同样有效。

来源:AGI Hunt · agihunt.info