重复数据预训练需调小批量

Sewon Min（UC Berkeley与AI2）发布论文《Scaling Repeated-Data Pretraining》，指出在独特数据有限、需反复使用同一数据训练时，最优批量大小应比常规预训练更小，小批量梯度噪声可发挥隐式正则化作用。 调优后，1.5B模型的有益训练轮数从8轮增至20轮，153M模型从40轮增至112轮。论文还称，在固定时间预算下，使用更少GPU配合更小批量，验证损失可能低于使用更多GPU和大批量；但若以紧迫截止时间为目标，大批量仍更合适。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。