跳到正文
AGI Hunt· Background-Wafer-548·· 1 小时前AI 评分37

哪些 benchmark 仍未被前沿模型攻破?SWE-sweep 最高仅 9.5%

哪些 benchmark 还没被前沿模型攻破?SWE-sweep 最高仅 9.5%

AI 导读

Reddit 用户发起讨论,征集当前前沿模型仍难以突破的 benchmark,并称多数基准已至少取得 20% 以上分数。无提示的 bug 发现与修复基准 SWE-sweep 目前最高分为 Astra 的 9.5%,Fable 5.1 仅为 2.9%。评论还讨论其他低分或进展停滞的基准,反映常规榜单趋于饱和后,真实世界难题仍是模型能力盲区。

来源:AGI Hunt · agihunt.info