AGI Hunt· OfirPress·· 5 小时前AI 评分48
SWE-bench 作者 Ofir Press 回应刷榜质疑,呼吁人机协作基准
SWE-bench 作者回应刷榜质疑并呼吁人在回路基准
AI 导读
SWE-bench 作者 Ofir Press 回应称,mini-swe-agent 被质疑为基准优化,可能无法代表真实使用效果。他指出,当前 SWE 基准几乎都面向全自动场景,而实际软件工程任务大量由人与 AI 协作完成,因此业界需要引入人在回路的评测基准。
来源:AGI Hunt · agihunt.info