AGI Hunt· mblondel_ml·· 1 小时前AI 评分49
Google DeepMind 论文证明自回归模型序列级监督损失存在根本缺陷
DeepMind 论文证明 AR 模型序列级监督损失存在根本缺陷
AI 导读
Google DeepMind 研究员 Mathieu Blondel 等人于 11 月 17 日发布论文,证明自回归模型的序列级监督训练存在根本缺陷。基于贪心解码和自回归采样的两类损失均无下界,直接优化会致模型发散,但可通过自回归 Gumbel trick 相互关联。对采样施加 stop gradient 可得到矩匹配更新方向,理论上成立但实践中方差很高。
来源:AGI Hunt · agihunt.info