数据受限预训练研究扩展

Andrew Wilson 团队在 arXiv 发布论文《Improving Data-Constrained Scaling with Hyperparameter Transfer and Ensembling》，由 Ethan Baron 主导，研究数据受限条件下的超参数迁移与集成扩展。 论文称，在 FineWeb 的1亿 token 数据上训练时，新配方较此前方案降低验证损失0.15以上 nats、困惑度下降14%；其超参数处方仅用小规模实验拟合，并在最高12倍算力预算下验证有效，集成方法还实现了随算力增加而单调提升的效果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。