Lucas Beyer回应Nesterov泛化悲观论

Google DeepMind 研究员 Lucas Beyer 回应 Nesterov 关于学习泛化的论断，提出该悲观结论属于一般性判断。他认为，注入恰当的归纳偏置并合理组织参数空间后，实际结果可能远没那么悲观，而 Transformer 架构本身就体现了这种思路。

Google DeepMind 研究员 Lucas Beyer 回应 Nesterov 关于学习泛化的论断，称此前并不知道这一说法，并提出略带愿望色彩的反驳。他与 NYU 研究者 Jonas Geiping 进一步讨论归纳偏置与参数空间结构，认为若条件合适，神经网络或可无需依赖梯度更新，从而扭转原本悲观的结论。