muP 与 Bengio 概率神谕：理论先行方法设计引发讨论

围绕“科学中实证是否总先于理论”，文章梳理了以深度学习为例的理论先行主张，并回顾 muP 奠基论文 Tensor Programs IV。该论文由 Greg Yang 与 Edward J. Hu 在 ICML 2021 发表，以 Maximal Update Parameterization 让无限宽网络真正学到特征。