跳到正文
热点事件持续更新

研究型Agent低分或源于任务上限设计

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Abundant 团队认为,研究型 agent 在 MLE-bench、RE-Bench、PaperBench 等基准中低分,可能源于任务设计不当,而非模型能力不足;噪声数据、信息缺失和实验不确定性会限制任务可达到的分数,因此基准应设定合理上限,而非默认满分代表能力。 团队建议借鉴 RE-Bench,为朴素基线和强参考解分别赋予 0 分和 1 分,再依据开放式任务相对这两者的进步衡量表现,以更准确评估研究型 agent 的能力。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. AGI Hunt
    研究型 agent 评测为何低分:基准需要合理上限而非满分预期

    Abundant 团队探讨研究型 agent 评测的低分成因,指出噪声数据、信息缺失和实验不确定性决定了任务的可达上限。MLE-bench、RE-Bench、PaperBench 等基准中的低分,可能源于任务设计不当而非模型能力不足;可借鉴 RE-Bench,为朴素基线和强参考解分别赋予 0 分和 1 分,再以相对进步衡量开放式任务表现。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。