LLM两轮自改Agent框架未显著泛化

Jens Lehmann与Sahar Vahdati的受控实验显示，前沿模型在ARC-AGI-3上自主编写完整Agent harness并两次重写代码库后，留出游戏的RHAE平均仅提高2.80分，95%区间为[-1.44, 7.35]，跨零且不显著。 实验使用5个开发游戏引导重写，并在20个未参与重写的留出游戏上测试。开发游戏上的提升高估了泛化收益；部分降低推理成本的改版以牺牲分数为代价。人类主导设计的系统在同一批游戏上得分更高，表明模型尚未能稳定自行找到更优方案。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。