AGI Hunt· VictorSanh·· 19 小时前AI 评分67
Beaker 自动审查五大 AI 基准,发现逾 100 处评分错误
Beaker 自动审查五大热门 AI 基准,发现 100 多处评分错误
AI 导读
Beaker 自动审查五个常用 AI 基准,发现超过 100 处任务指令与评分错误,且每个基准至少有一处。问题包括 Agents' Last Exam 截断小数后匹配、Harvey LAB 期望金额与源表格不符、Terminal Bench 2.0 报告字段定义缺失。其 Dataset review 功能可自动比对任务指令、评分规则与源文件,标记不一致并给出修正建议。
来源:AGI Hunt · agihunt.info