Beaker审计五大AI基准评分错误
热点事件持续更新
Beaker审计五大AI基准评分错误
2 篇报道1 个报道来源50 分钟前更新
先了解这件事
AI 综述
Beaker团队用AI智能体审查五个常用AI基准,识别出逾100处疑似任务说明或评分错误,且每个基准均有问题;具体案例包括Agents' Last Exam将未构建任何面板的条目标为满分,该结果经Hugging Face首席执行官Clement Delangue和VictorSanh转发后受到关注。 此前报道中,Beaker称已核实超过100处错误,涵盖小数截断匹配、期望金额与源表不符及报告字段定义缺失等问题,并推出Dataset review功能比对指令、评分规则与源文件,提出修正建议。后续报道则将这些发现称为“疑似错误”,并未说明全部问题均已最终确认。
AI 根据报道生成 · 20 分钟前更新
最新进展11月21日 00:02
Beaker 团队用 AI 智能体审计五大热门基准,发现 100 多处疑似错误报道时间线
沿着报道,了解事件的不同侧面。
11月21日
- AGI HuntBeaker 团队用 AI 智能体审计五大热门基准,发现 100 多处疑似错误
Beaker 团队让 AI 智能体自主审查业界最常用的 5 个 AI 基准测试,发现 100 多处疑似任务说明与评分错误,且每个基准都存在大量问题。其中「Agents' Last Exam」有条目未构建任何面板却获得满分,该结果经 Hugging Face CEO Clement Delangue 与 VictorSanh 转发后受到关注。
11月20日
- AGI HuntBeaker 自动审查五大 AI 基准,发现逾 100 处评分错误
Beaker 自动审查五个常用 AI 基准,发现超过 100 处任务指令与评分错误,且每个基准至少有一处。问题包括 Agents' Last Exam 截断小数后匹配、Harvey LAB 期望金额与源表格不符、Terminal Bench 2.0 报告字段定义缺失。其 Dataset review 功能可自动比对任务指令、评分规则与源文件,标记不一致并给出修正建议。
本事件热度走势
- 可比范围当前
- 6
- 可比范围峰值
- 1011月20日 08:00
- 近 24 小时变化
- –
02.557.510
09:0012:0015:0018:0021:0011月21日
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。