跳到正文
热点事件持续更新

编码智能体真实任务完成率不足十分之一

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

研究团队将ChatGPT-5.6、Claude Opus 5.5和GPT-6 Astra等编码智能体放入模拟软件公司,要求其完整完成真实工作任务;结果显示,完整任务完成率均不足十分之一。 实验为智能体提供同事、项目看板和聊天记录,以模拟数字员工的工作环境。研究团队同时指出,SWE-bench等标准编码基准已接近饱和,表明智能体在标准化测试中的表现不能充分代表其完成综合性职场任务的能力。

AI 根据报道生成 · 57 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月22日
  1. The Decoder
    模拟软件公司实验显示 AI 编码智能体完整完成任务不足十分之一

    一项新实验将 AI 编码智能体置于配有同事、项目看板和聊天记录的模拟软件公司中,测试其完整完成真实工作任务的能力。即使 Claude Opus 5.5 和 GPT-6 Astra,完整完成的任务仍不足十分之一;与此同时,SWE-bench 等标准基准接近饱和。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。