EvalResearchBench测试智能体自建评估器

AG2AI与俄勒冈州立大学、UCSD等机构发布EvalResearchBench（ERB），用于测试AI智能体能否自主构建评估器，为递归自我改进提供反馈。实验要求智能体在固定时间和API预算内，为编程、协作与推理任务选择或合成任务、实现评分器，并在试点后冻结评估器。 研究比较了9个researcher智能体与13个候选模型的组合。结果显示，智能体生成的评估器与目标仍有一致性差距，并出现预算耗尽和分数主导问题，说明自主建立可靠评估器尚未得到充分解决。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。