常用激活函数均值非零导致 LLM 与 ViT 训练 loss spike

研究指出，ReLU/SiLU/GeLU 等常用激活函数激活后的均值不为零，会引发训练动力学中的 loss spike 和表示 overshooting。将均值归零后，LLM 与 ViT 的性能均获得提升。