Liu Ziyin 2020 年论文重现：涨落-耗散定理可直接推出大学习率 SGD 噪声理论

Liu Ziyin 转发其 2020 年论文，指出涨落-耗散定理可直接联系随机训练的学习率、Hessian 与梯度噪声。论文聚焦非消失学习率区间，给出二次损失下含与不含动量的离散时间 SGD 平稳分布，并指出离散时间噪声远大于连续时间理论预测；相关结论发表于 ICML 2021（arXiv:2012.03636）。