Cohere Labs分享自修复训练收敛研究

Cohere Labs分享独立研究者Rokib Al Dhin Raadh的自修复训练报告《When the Update Is Not a Gradient》，该报告经双盲评审后被DeepMath 2026接收。实验中，ORMAS网络在第100个epoch置零卷积层后，经85次修正将准确率从10.0%恢复至80.3%；383次评估中，修正幅度下降83%—93%。 报告称，每步收缩仅在31.6%的训练步中成立，但模型仍实现收敛；由于偏移项未消失，该结果属于实用型收敛而非严格的增量稳定系统，邻域前向不变性也尚未得到证明。

AI 根据报道生成 · 39 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。