相同网络、三随机种子实测：Adam 回归损失 0.033 vs SGD 0.442

在 PyTorch 回归与分类任务中，相同初始权重、扫描多个学习率并运行 3 个随机种子后，Adam 的收敛速度均明显快于 SGD。回归任务测试损失为 Adam 0.033、SGD 0.442，差距超过一个数量级。Adam 通过维护梯度和平方梯度的滑动平均，为各参数自适应调整有效步长，但作者强调这不代表其始终更优。