研究者讨论：过参数化神经网络能否用启发式而非梯度更新

NYU 研究者 Jonas Geiping 与 giffmana 讨论过参数化神经网络能否以定制启发式替代梯度更新。giffmana 认为，合适的归纳偏置与良好的参数空间组织，例如 Transformer 架构，可能改变这一局面。Geiping 承认启发式更新的可能性，但反问既然问题条件如此理想，为何不直接采用能同时在所有方向更新高维模型的梯度训练。