跳到正文
AGI Hunt· DimitrisPapail·· 2 小时前AI 评分36

加噪蒸馏为何有效:自回归模型借纠错让生成分布更贴近训练分布

AI 导读

DimitrisPapail 评论输入扰动改进预训练蒸馏的新结果,提出加噪训练可让自回归模型在预训练阶段学会自我纠错。其假设是,纠错机制会减少模型自身生成的 OOD 程度,使生成分布更贴近训练分布。该观点还将这一机制与信息瓶颈等理论相联系,作为相关论文的评论补充。

来源:AGI Hunt · agihunt.info