AGI Hunt· rasbt·2026-11-18 00:00· 56 分钟前AI 评分43rasbt 梳理预训练新趋势:放弃 LR decay,改用恒定学习率 + 检查点平均rasbt 梳理预训练新趋势:放弃 LR decay,改用恒定学习率+检查点平均AI 导读Sebastian Raschka(rasbt)指出,预训练配方正出现新趋势:不再设置学习率衰减阶段,改用恒定学习率并对最后 N 个检查点取平均,Kolibri-1 与 DatologyAI 已采用。来源:AGI Hunt · agihunt.info数据与训练大佬观点现象与趋势#大佬观点#现象/趋势#数据/训练查看事件全部后续