跳到正文
热点事件持续更新

预训练转向恒定学习率与检查点平均

1 篇报道1 个报道来源44 分钟前更新

先了解这件事

AI 综述

Sebastian Raschka 称,预训练正在出现一种新配方:不设置学习率衰减阶段,而是在训练后段保持恒定学习率,并对最后 N 个检查点进行平均;Kolibri-1 与 DatologyAI 已采用这一做法。 这意味着相关团队把模型选择从单个末期检查点,转向综合训练末段的多个检查点,以降低单点波动对最终模型的影响。该判断由 Raschka 提出,现有信息未说明采用范围、具体 N 值及实际效果。

AI 根据报道生成 · 18 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. AGI Hunt
    rasbt 梳理预训练新趋势:放弃 LR decay,改用恒定学习率 + 检查点平均

    Sebastian Raschka(rasbt)指出,预训练配方正出现新趋势:不再设置学习率衰减阶段,改用恒定学习率并对最后 N 个检查点取平均,Kolibri-1 与 DatologyAI 已采用。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。