arXiv 论文证明 SGD 唯一极小极大最优步长调度为单调递减的线性衰减

一篇 arXiv 论文证明，在梯度噪声零均值、方差有界且方差下界至少为 Ω(1/√N) 时，SGD 的唯一极小极大最优步长调度是单调递减的线性衰减。研究针对维度 d ≥ N+1、步长取值于 [0,1.5] 的问题给出精确最坏情况分析，并排除确定性情形中分形调度带来的加速。