E2E-SWE 基准评测 coding agent 从零构建完整软件仓库的能力

Hantian Ding 等人发布 E2E-SWE 基准，通过 186 个整仓库生成任务、覆盖 11 种编程语言，评测 coding agent 能否依据自然语言规格从零构建可运行软件仓库。基准评测 13 个前沿模型，pass@1 为 11.7% 至 67.7%；论文与代码均已公开。