Schmidhuber重溯Transformer源头
热点事件持续更新
Schmidhuber重溯Transformer源头
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Schmidhuber 重申，Google 2017 年发布的归一化二次 Transformer（TR1）源自他 1991 年提出的非归一化线性 Transformer（ULTRA）；ULTRA 的计算成本随输入长度线性增长，而 TR1 的注意力计算为二次方。其 1993 年循环扩展论文还首次使用了“注意力”一词。
AI 根据报道生成 · 1 小时前更新
最新进展10月23日 20:57
Schmidhuber 重申：1991 年线性 Transformer 才是 2017 年架构的源头报道时间线
沿着报道，了解事件的不同侧面。
10月23日
- AGI HuntSchmidhuber 重申：1991 年线性 Transformer 才是 2017 年架构的源头
Schmidhuber 重申，Google 2017 年的归一化二次 Transformer（TR1）源自他 1991 年的非归一化线性 Transformer（ULTRA）。ULTRA 的计算成本随输入长度线性增长而非二次方；1993 年循环扩展论文（FWP2）还引入了“注意力”术语。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。