前沿模型未攻破基准征集讨论

Reddit 用户 Background-Wafer-548 发起讨论，征集当前前沿模型仍难以突破的基准，目标是找出模型在真实世界难题上的能力盲区。发帖者称，多数基准已有模型取得至少 20% 以上的分数。 讨论中，无提示的 bug 发现与修复基准 SWE-sweep 仍处于低分区间：Astra 最高分为 9.5%，Fable 5.1 为 2.9%。这些分数和“多数基准已取得 20% 以上”的说法来自该讨论及其评论，反映的是讨论者对基准饱和程度的判断，并非本次征集已经得出的统一结论。

AI 根据报道生成 · 53 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。