跳到正文
The Decoder· Jonathan Kemper·· 2 小时前AI 评分61

模拟软件公司实验显示 AI 编码智能体完整完成任务不足十分之一

AI coding agents ace isolated tests but complete fewer than one in ten tasks in a simulated workplace

AI 导读

一项新实验将 AI 编码智能体置于配有同事、项目看板和聊天记录的模拟软件公司中,测试其完整完成真实工作任务的能力。即使 Claude Opus 5.5 和 GPT-6 Astra,完整完成的任务仍不足十分之一;与此同时,SWE-bench 等标准基准接近饱和。

来源:The Decoder · the-decoder.com