Schmidhuber 重申：1991 年线性 Transformer 才是 2017 年架构的源头

Schmidhuber 重申，Google 2017 年的归一化二次 Transformer（TR1）源自他 1991 年的非归一化线性 Transformer（ULTRA）。ULTRA 的计算成本随输入长度线性增长而非二次方；1993 年循环扩展论文（FWP2）还引入了“注意力”术语。