小模型阶梯训练法：配方改动先在 300M 至 6B 模型上验证

一份预训练工作披露小模型阶梯训练法，任何配方改动都先在约 300M 至 6B 激活参数模型上测试，再用于最终大模型训练。作者指出，该方法要求阶梯模型与最终模型面对相同数据条件；若小模型仅训练 238B tokens，即最终运行 1%，却从完整 13.7T 数据池采样，就难以复现大模型的数据重复情况。