大模型训练中学习率与批大小随数据量变化的幂律调节规律

一项新研究推导了固定模型规模下，学习率、批大小与动量随训练数据量变化的幂律估计方法。该框架涵盖 Adam、Muon 等归一化梯度优化器，并通过数值验证和约 1.6 亿参数的小型语言模型实验检验预测趋势。