跳到正文
AGI Hunt· najoungkim·· 3 小时前AI 评分53

RExBench评估编程智能体自主完成研究扩展的成功率仅约33%

RExBench:最强编程智能体自主完成研究扩展成功率仅33%

AI 导读

RExBench评估编程智能体自主实现AI研究扩展的能力,最佳智能体成功率约33%。该基准包含12篇真实论文的扩展任务,支持抗数据污染和自动评测;使用aider与OpenHands框架测试12个LLM智能体后发现,即使加入人类手写提示,最好成绩仍低于44%。

来源:AGI Hunt · agihunt.info