PyTorch 实测梯度裁剪对 RNN 训练稳定性的影响

作者用 PyTorch 训练刻意不稳定的 RNN，对比有无梯度裁剪的效果，5 次不裁剪运行均在 17 步内发散。将梯度范数裁剪到 1.0 后，5 次运行全部完成 320 步，验证损失中位数为 0.043，而裁剪到 5.0 的效果明显较差。文章还给出裁剪公式，指出 clip 1.0 时 94.7% 的步骤触发裁剪，并将学习率降至 0.005 也可避免不裁剪时发散。