AGI Hunt· DimitrisPapail·2026-11-17 04:14· 2 小时前AI 评分36加噪蒸馏为何有效:自回归模型借纠错让生成分布更贴近训练分布AI 导读DimitrisPapail 评论输入扰动改进预训练蒸馏的新结果,提出加噪训练可让自回归模型在预训练阶段学会自我纠错。其假设是,纠错机制会减少模型自身生成的 OOD 程度,使生成分布更贴近训练分布。该观点还将这一机制与信息瓶颈等理论相联系,作为相关论文的评论补充。来源:AGI Hunt · agihunt.info推理能力数据与训练大佬观点#大佬观点#推理#数据/训练查看事件全部后续