Schmidhuber 重申 1990-91「奇迹年」奠定 GAN、Transformer 前身等七项基石

Jürgen Schmidhuber 重申，其团队在慕尼黑工业大学于 1990-1991 年发表的论文，为 GAN、Transformer、预训练、知识蒸馏等七项深度学习基础思想奠定基石。其 1991 年工作还孕育了 Unnormalized Linear Transformer，并启发 LSTM 与 Highway Net；他称相关网络已部署在超 30 亿台设备上。