跳到正文
AGI Hunt· OfirPress·· 1 小时前AI 评分25

Ofir Press 玩梗:SWE-bench 饱和后该搞「无失误版」了

AI 导读

SWE-bench 作者、普林斯顿研究员 Ofir Press 调侃称,社区应打造「unforced SWE-bench」,衡量模型在无外部失误辅助下解决软件工程任务的真实能力。这一建议回应了编码基准趋于饱和、难以区分顶级模型现状的问题。

来源:AGI Hunt · agihunt.info