刘子寅转发涨落耗散与SGD噪声论文

刘子寅转发并介绍自己2020年撰写的论文，将涨落—耗散定则与随机梯度下降（SGD）噪声理论联系起来，称近期“稳定性边缘”研究可从理论物理中获益。论文针对非消失学习率区间，给出二次损失下含动量与不含动量离散时间SGD的平稳分布，并指出离散时间噪声远大于连续时间理论预测；相关结论发表于ICML 2021。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。