跳到正文
热点事件持续更新

Beaker审计五大AI基准评分错误

2 篇报道1 个报道来源50 分钟前更新

先了解这件事

AI 综述

Beaker团队用AI智能体审查五个常用AI基准,识别出逾100处疑似任务说明或评分错误,且每个基准均有问题;具体案例包括Agents' Last Exam将未构建任何面板的条目标为满分,该结果经Hugging Face首席执行官Clement Delangue和VictorSanh转发后受到关注。 此前报道中,Beaker称已核实超过100处错误,涵盖小数截断匹配、期望金额与源表不符及报告字段定义缺失等问题,并推出Dataset review功能比对指令、评分规则与源文件,提出修正建议。后续报道则将这些发现称为“疑似错误”,并未说明全部问题均已最终确认。

AI 根据报道生成 · 20 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月21日
  1. AGI Hunt
    Beaker 团队用 AI 智能体审计五大热门基准,发现 100 多处疑似错误

    Beaker 团队让 AI 智能体自主审查业界最常用的 5 个 AI 基准测试,发现 100 多处疑似任务说明与评分错误,且每个基准都存在大量问题。其中「Agents' Last Exam」有条目未构建任何面板却获得满分,该结果经 Hugging Face CEO Clement Delangue 与 VictorSanh 转发后受到关注。

11月20日
  1. AGI Hunt
    Beaker 自动审查五大 AI 基准,发现逾 100 处评分错误

    Beaker 自动审查五个常用 AI 基准,发现超过 100 处任务指令与评分错误,且每个基准至少有一处。问题包括 Agents' Last Exam 截断小数后匹配、Harvey LAB 期望金额与源表格不符、Terminal Bench 2.0 报告字段定义缺失。其 Dataset review 功能可自动比对任务指令、评分规则与源文件,标记不一致并给出修正建议。

本事件热度走势

可比范围当前
6
可比范围峰值
1011月20日 08:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。