AGI Hunt· OfirPress·· 4 小时前AI 评分56
Foresight-SWE 评测显示编程智能体解题率 60.7%,无新增 bug 率仅 14.8%
Foresight-SWE 基准:编程智能体解题 60.7%,却只有 14.8% 不埋新 bug
AI 导读
Foresight-SWE 基准测试显示,11 个模型解决开发者指定问题的平均成功率为 60.7%,同时要求不引入开发者后续修复的 bug 时成功率降至 14.8%。该评测重点考察编程智能体在完成任务时避免新增 bug 的自查能力。
来源:AGI Hunt · agihunt.info