跳到正文
热点事件持续更新

实验室自报SWE-bench成绩偏高引出基准作弊争议

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

SolomonMg提出“benchmark hacking”疑云,并比较实验室自报与独立复现结果,称SWE-bench Verified上实验室自报分数平均比Epoch AI和SWE-bench团队的独立复现高4—5分。 这一差距引发基准成绩是否被包装的讨论,但SolomonMg同时指出,各实验室使用不同的评测框架和设置,可能解释大部分差距,未必代表刻意操纵。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. AGI Hunt
    实验室自报 SWE-bench Verified 分数平均高出独立复现 4-5 分

    RexDouglass 转述 SolomonMg 提出的「benchmark hacking」疑云,指出实验室自报的 SWE-bench Verified 分数平均比 Epoch AI 和 SWE-bench 团队独立复现高 4-5 点。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。