普林斯顿等研究：最优优化器随 batch size 变化，排名会反转

普林斯顿、斯坦福和 UCSD 团队研究指出，最优超参 scaling 规则取决于任务和目标 batch size；即使充分重调超参，优化器排名仍会随 batch size 变化而反转。研究还发现，语言模型预训练中，将小 batch 更新保持在矩阵方向最锐利的 0.001% 区间，最多可消除 batch size 扩大带来的 59.5% 误差。