跳到正文
AGI Hunt· nathanbenaich·· 2 小时前AI 评分54

研究型 agent 评测为何低分:基准需要合理上限而非满分预期

AI 导读

Abundant 团队探讨研究型 agent 评测的低分成因,指出噪声数据、信息缺失和实验不确定性决定了任务的可达上限。MLE-bench、RE-Bench、PaperBench 等基准中的低分,可能源于任务设计不当而非模型能力不足;可借鉴 RE-Bench,为朴素基线和强参考解分别赋予 0 分和 1 分,再以相对进步衡量开放式任务表现。

来源:AGI Hunt · agihunt.info