研究称合成数据预训练未胜自然语言训练

Laura Ruis 团队发布预印本研究，系统比较预训练前使用合成数据的 pre-pretraining（PPT）与纯自然语言训练，结果显示在计算匹配条件下，分配给 k-dyck、NCA 等合成分布的算力从未带来优于自然语言训练的效果。 研究还发现，即使自然语言数据仅有 1 亿 token，对自然语言语料重复训练多个 epoch 也胜过所有合成数据课程，因此认为在自然语言数据稀缺时，增加合成数据课程也不能替代重复利用已有语料。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。