计算匹配实验显示合成数据预训练未超过纯自然语言训练

Laura Ruis 团队发布预印本研究，系统评估预训练前使用合成数据的 pre-pretraining（PPT）方法。计算匹配实验显示，分配给 k-dyck、NCA 等合成分布的 PPT 从未优于纯自然语言训练；即使自然语言数据仅有 1 亿 token，对自然语言语料重复训练多个 epoch 也胜过所有合成数据课程。