SWE-bench作者回应刷榜质疑，主张引入人在回路基准

SWE-bench 作者 Ofir Press 就近期智能体在 SWE-bench 等基准上的成绩受到“为基准优化、刷榜”的质疑作出回应，称像 mini-swe-agent 这类系统可能无法代表真实使用效果。他指出，当前各类软件工程（SWE）基准几乎都面向全自动场景，而实际软件工程任务中有大量由人与 AI 协作完成，因此他呼吁业界建立引入人在回路（human-in-the-loop）的新型评测基准。 这一表态并未改变现有榜单结果，而是提出了评测方式本身的问题：在以自主解题率衡量智能体的方式之外，如何衡量人机协作场景下的表现，成为他给出的方向。目前报道中未提及已有此类基准发布或其具体评测结果。

AI 根据报道生成 · 3 小时前更新