AGI Hunt· Background-Wafer-548·· 1 小时前AI 评分37
哪些 benchmark 仍未被前沿模型攻破?SWE-sweep 最高仅 9.5%
哪些 benchmark 还没被前沿模型攻破?SWE-sweep 最高仅 9.5%
AI 导读
Reddit 用户发起讨论,征集当前前沿模型仍难以突破的 benchmark,并称多数基准已至少取得 20% 以上分数。无提示的 bug 发现与修复基准 SWE-sweep 目前最高分为 Astra 的 9.5%,Fable 5.1 仅为 2.9%。评论还讨论其他低分或进展停滞的基准,反映常规榜单趋于饱和后,真实世界难题仍是模型能力盲区。
来源:AGI Hunt · agihunt.info