小批量才是王道：Sewon Min 重复数据预训练论文揭示 batch size 隐形最优解

Sewon Min 的论文指出，重复数据预训练需要比常规预训练更小的 batch size。小批量梯度噪声提供隐式正则化；调优后，1.5B 模型有益 epoch 数从 8 增至 20，153M 模型从 40 增至 112。