斯坦福 CS312 测验：训练中途冻结 residual 流 RMS 会怎样？

普林斯顿 Tatsu Hashimoto 的斯坦福 CS312 测验实验显示，训练中途冻结 residual 流 RMS 对模型几乎无损。实验训练一个 35M 参数、8 层 Transformer 语言模型 9375 步，在第 4688 步冻结 residual 流 RMS，验证损失仅上涨 0.0043。