神经网络信号传播之争：专家指问题不在激活均值而在激活整形

专家 Roy Dan Roy 指出，关于大神经网络激活值的观点具有误导性：权重相乘后预激活值基本呈零均值，真正影响信号传播的是激活整形。该技术辨析围绕初始化与训练动力学细节展开，关联一场以 1/n 开头的长文讨论。