跳到正文
热点事件持续更新

SWE-CoWork评测显示编码Agent完整交付率不足8%

1 篇报道1 个报道来源35 分钟前更新

先了解这件事

AI 综述

SWE-CoWork用101个真实仓库开发任务评测11个编码Agent,结果显示两个领先模型虽能满足约63%的fail-to-pass测试,完整任务交付率却不足8%。 任务覆盖11种编程语言和12个应用领域,Agent需从简短交接信息中恢复需求、处理矛盾,并以私有可执行测试验收。评测还发现,预先提供完整需求可使Seed Evolving和GPT-6 Astra的fail-to-pass测试通过率提高约16个百分点,但未改变完整任务成功率。

AI 根据报道生成 · 13 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. AGI Hunt
    SWE-CoWork 评测 11 个编码 Agent,完整任务交付率不足 8%

    SWE-CoWork 使用 101 个真实仓库开发任务评测 11 个编码 Agent,其中领先模型约能满足 63% 的 fail-to-pass 测试,但完整交付率不足 8%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。