跳到正文
AGI Hunt· torchcompiled·· 47 分钟前AI 评分23

研究者提出 Adam β1 假设:小 batch、低学习率场景收益或更大

研究者提出假设:Adam 的 β1 在小 batch 下收益更大

AI 导读

研究者提出假设,Adam 更大的 β1 在小 batch、低学习率场景下可能收益更大,因为更强的动量平滑可降低梯度估计噪声与方差。在大 batch 场景下,方差 reduction 的收益可能递减,更大的 β1 反而会因动量平均窗口变长而带来滞后。该判断来自经验性猜想,尚无实验数据支持。

来源:AGI Hunt · agihunt.info