专家称信号传播关键在激活整形

专家 Roy Dan Roy 认为，关于大神经网络激活值的既有观点可能具有误导性：权重相乘后，预激活值基本呈零均值，因此真正影响信号传播的不是激活均值，而是激活整形。该辨析围绕初始化和训练动力学展开，并关联一场以“1/n”开头的讨论。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。