跳到正文
热点事件持续更新

Ofir Press玩笑提议“无失误版”SWE-bench

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

SWE-bench作者、普林斯顿研究员Ofir Press调侃称,既然该基准已被顶级模型基本刷满,社区应打造“unforced SWE-bench”,衡量模型在没有外部失误辅助下解决软件工程任务的真实能力。 这一玩笑式提议意在解决现有基准趋于饱和、难以区分顶尖模型表现的问题,目前并无新基准已经建立或投入使用的结论。

AI 根据报道生成 · 28 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月21日
  1. AGI Hunt
    Ofir Press 玩梗:SWE-bench 饱和后该搞「无失误版」了

    SWE-bench 作者、普林斯顿研究员 Ofir Press 调侃称,社区应打造「unforced SWE-bench」,衡量模型在无外部失误辅助下解决软件工程任务的真实能力。这一建议回应了编码基准趋于饱和、难以区分顶级模型现状的问题。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。