跳到正文
AGI Hunt· goodside·· 2 小时前AI 评分21

goodside 引论文:数据累积而非替换,模型崩溃本就不会发生

AI 导读

goodside 引用 arXiv 论文 2404.01413,认为模型崩溃并非数据反馈回路的必然结果。斯坦福、MIT 等机构作者发现,若训练时同时保留真实数据与各代合成数据并持续累积,而非以新数据替换旧数据,模型可避免崩溃,且结论适用于多种模型规模、架构和超参数。

来源:AGI Hunt · agihunt.info