AGI Hunt· RexDouglass·· 2 小时前AI 评分57
实验室自报 SWE-bench Verified 分数平均高出独立复现 4-5 分
「基准黑客」疑云:实验室自报 SWE-bench 分数平均高于独立复现 4-5 分
AI 导读
RexDouglass 转述 SolomonMg 提出的「benchmark hacking」疑云,指出实验室自报的 SWE-bench Verified 分数平均比 Epoch AI 和 SWE-bench 团队独立复现高 4-5 点。
来源:AGI Hunt · agihunt.info