跳到正文
热点事件持续更新

DeepMind揭示自回归序列监督训练缺陷

1 篇报道1 个报道来源49 分钟前更新

先了解这件事

AI 综述

Google DeepMind研究员Mathieu Blondel等人在arXiv发表论文,证明自回归模型的两类自然序列级损失——基于贪心解码和自回归采样——均无下界,直接优化会导致模型发散。 作者指出,对采样施加stop gradient可得到理论上成立的矩匹配更新方向,但实践中方差很高,限制了直接训练序列级目标的可行性。

AI 根据报道生成 · 23 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. AGI Hunt
    Google DeepMind 论文证明自回归模型序列级监督损失存在根本缺陷

    Google DeepMind 研究员 Mathieu Blondel 等人于 11 月 17 日发布论文,证明自回归模型的序列级监督训练存在根本缺陷。基于贪心解码和自回归采样的两类损失均无下界,直接优化会致模型发散,但可通过自回归 Gumbel trick 相互关联。对采样施加 stop gradient 可得到矩匹配更新方向,理论上成立但实践中方差很高。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。