研究者发现“Forking”训练现象：训练损失下降、验证损失反升

研究者 Ziming Liu 与 MetaCircleAI 报告发现“Forking”训练现象，源于 AutoResearch 技巧被错误泛化。该现象出现在 over-encoding 类方法中，数据回放时训练损失持续下降，验证损失却反升，形成类似叉子的分叉曲线。作者认为其重要性堪比 grokking 和 double descent，值得研究者关注。