DeepMind揭示自回归序列监督训练缺陷
热点事件持续更新
DeepMind揭示自回归序列监督训练缺陷
1 篇报道1 个报道来源49 分钟前更新
先了解这件事
AI 综述
Google DeepMind研究员Mathieu Blondel等人在arXiv发表论文,证明自回归模型的两类自然序列级损失——基于贪心解码和自回归采样——均无下界,直接优化会导致模型发散。 作者指出,对采样施加stop gradient可得到理论上成立的矩匹配更新方向,但实践中方差很高,限制了直接训练序列级目标的可行性。
AI 根据报道生成 · 23 分钟前更新
最新进展11月17日 21:04
Google DeepMind 论文证明自回归模型序列级监督损失存在根本缺陷报道时间线
沿着报道,了解事件的不同侧面。
11月17日
- AGI HuntGoogle DeepMind 论文证明自回归模型序列级监督损失存在根本缺陷
Google DeepMind 研究员 Mathieu Blondel 等人于 11 月 17 日发布论文,证明自回归模型的序列级监督训练存在根本缺陷。基于贪心解码和自回归采样的两类损失均无下界,直接优化会致模型发散,但可通过自回归 Gumbel trick 相互关联。对采样施加 stop gradient 可得到矩匹配更新方向,理论上成立但实践中方差很高。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。