跳到正文
AGI Hunt· rasbt·· 56 分钟前AI 评分43

rasbt 梳理预训练新趋势:放弃 LR decay,改用恒定学习率 + 检查点平均

rasbt 梳理预训练新趋势:放弃 LR decay,改用恒定学习率+检查点平均

AI 导读

Sebastian Raschka(rasbt)指出,预训练配方正出现新趋势:不再设置学习率衰减阶段,改用恒定学习率并对最后 N 个检查点取平均,Kolibri-1 与 DatologyAI 已采用。

来源:AGI Hunt · agihunt.info