启发式能否替代神经网络梯度更新

NYU 研究者 Jonas Geiping 与 giffmana 讨论过参数化神经网络能否以定制启发式替代梯度更新。giffmana 认为，合适的归纳偏置与良好的参数空间组织，例如 Transformer 架构，可能改变这一局面。Geiping 承认启发式更新的可能性，但反问既然问题条件如此理想，为何不直接采用能同时在所有方向更新高维模型的梯度训练。

Google DeepMind 研究员 Lucas Beyer 回应 Nesterov 关于学习泛化的论断，称此前并不知道这一说法，并提出略带愿望色彩的反驳。他与 NYU 研究者 Jonas Geiping 进一步讨论归纳偏置与参数空间结构，认为若条件合适，神经网络或可无需依赖梯度更新，从而扭转原本悲观的结论。