Nature 论文警告递归使用 AI 生成数据训练会导致模型坍缩

牛津 researchers 在 Nature 发表的 Model Collapse 研究指出，模型递归使用 AI 生成数据训练后会出现能力退化。随着各代生成数据的潜变量分布逐渐向均值收窄，模型会遗忘原始数据分布中的尾部，涉及罕见、独特和复杂的人类语言细节。作者认为，这一机制与灾难性遗忘和数据中毒相关但不同，并警示互联网可能成为大模型训练的“ toxic 废料场”。