跳到正文
热点事件持续更新

Foresight-SWE显示智能体自查能力不足

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

OfirPress公布Foresight-SWE跨模型测试结果:11个编程智能体解决开发者指定问题的平均成功率为60.7%;若同时要求不引入开发者后来修复的缺陷,成功率降至14.8%。 结果表明,智能体虽能完成部分指定问题,但引入新缺陷的情况较多,难以通过自查同时满足功能实现与无新增缺陷的要求。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. AGI Hunt
    Foresight-SWE 评测显示编程智能体解题率 60.7%,无新增 bug 率仅 14.8%

    Foresight-SWE 基准测试显示,11 个模型解决开发者指定问题的平均成功率为 60.7%,同时要求不引入开发者后续修复的 bug 时成功率降至 14.8%。该评测重点考察编程智能体在完成任务时避免新增 bug 的自查能力。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。