Ofir Press玩笑提议“无失误版”SWE-bench
热点事件持续更新
Ofir Press玩笑提议“无失误版”SWE-bench
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
SWE-bench作者、普林斯顿研究员Ofir Press调侃称,既然该基准已被顶级模型基本刷满,社区应打造“unforced SWE-bench”,衡量模型在没有外部失误辅助下解决软件工程任务的真实能力。 这一玩笑式提议意在解决现有基准趋于饱和、难以区分顶尖模型表现的问题,目前并无新基准已经建立或投入使用的结论。
AI 根据报道生成 · 28 分钟前更新
最新进展11月21日 01:44
Ofir Press 玩梗:SWE-bench 饱和后该搞「无失误版」了报道时间线
沿着报道,了解事件的不同侧面。
11月21日
- AGI HuntOfir Press 玩梗:SWE-bench 饱和后该搞「无失误版」了
SWE-bench 作者、普林斯顿研究员 Ofir Press 调侃称,社区应打造「unforced SWE-bench」,衡量模型在无外部失误辅助下解决软件工程任务的真实能力。这一建议回应了编码基准趋于饱和、难以区分顶级模型现状的问题。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。