研究者热议 LLM 训练中的 row norm：控制 pre-activation ∞ 范数

研究者 YouJiacheng 认为，LLM 训练中的 row norm（权重归一化）是正确方案，因为 SwiGLU 的逐元素相乘需先控制 pre-activation hidden 的 ∞ 范数，进而控制 post-activation hidden 的 RMS。相关实验观察显示，每个神经元对应的范数几乎恰好为 1，为 weight normalization 的效果提供了支持。