实验室自报SWE-bench成绩偏高引出基准作弊争议
热点事件持续更新
实验室自报SWE-bench成绩偏高引出基准作弊争议
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
SolomonMg提出“benchmark hacking”疑云,并比较实验室自报与独立复现结果,称SWE-bench Verified上实验室自报分数平均比Epoch AI和SWE-bench团队的独立复现高4—5分。 这一差距引发基准成绩是否被包装的讨论,但SolomonMg同时指出,各实验室使用不同的评测框架和设置,可能解释大部分差距,未必代表刻意操纵。
AI 根据报道生成 · 2 小时前更新
最新进展11月18日 00:45
实验室自报 SWE-bench Verified 分数平均高出独立复现 4-5 分报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- AGI Hunt实验室自报 SWE-bench Verified 分数平均高出独立复现 4-5 分
RexDouglass 转述 SolomonMg 提出的「benchmark hacking」疑云,指出实验室自报的 SWE-bench Verified 分数平均比 Epoch AI 和 SWE-bench 团队独立复现高 4-5 点。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。