跳到正文
AGI Hunt· dlwh·· 3 小时前AI 评分36

dlwh:学习率速降造成深层损失谷,两种策略终回归同一曲线

学习率速降带来深层损失谷,但两种策略终回到同一曲线

AI 导读

dlwh 的实验发现,大幅快速降低学习率会形成更深的暂时性损失下降,两个种子下相对 baseline 验证损失差为 −0.117/−0.119。两种策略随后回到同一且略差于 baseline 的损失曲线,这种做法还可能显著推高 OOD heldout loss,CF Marin 8B 实验提供了佐证。

来源:AGI Hunt · agihunt.info