AGI Hunt· nathanbenaich·· 2 小时前AI 评分54
研究型 agent 评测为何低分:基准需要合理上限而非满分预期
AI 导读
Abundant 团队探讨研究型 agent 评测的低分成因,指出噪声数据、信息缺失和实验不确定性决定了任务的可达上限。MLE-bench、RE-Bench、PaperBench 等基准中的低分,可能源于任务设计不当而非模型能力不足;可借鉴 RE-Bench,为朴素基线和强参考解分别赋予 0 分和 1 分,再以相对进步衡量开放式任务表现。
来源:AGI Hunt · agihunt.info