RMSNorm 梯度爆炸疑虑获解释：高维输入天然远离零

RMSNorm 在输入接近 0 时理论上会导致梯度爆炸，但实际中很少出问题。前苹果/Meta 研究者 François Fleuret 提出这一技术疑问后，Carles Gelada 给出解释：高维随机向量在初始化时总是远离零点，因此输入趋零的情形在实践中极为罕见。这一讨论澄清了归一化层的常见疑虑。