RExBench评测智能体研究扩展能力

研究者提出RExBench基准，用12篇真实论文的扩展任务评估编程智能体自主完成AI研究扩展的能力；基于aider和OpenHands实现的12个LLM智能体中，最佳任务成功率约33%，即使加入人类手写提示，最好成绩仍低于44%。 RExBench支持抗数据污染和自动评测。评测显示，所有受测智能体都无法自主完成大多数扩展任务，表明当前系统在无需人工协助时完成复杂研究扩展的可靠性仍有限。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。