编码智能体指数v2.0收紧评测
先了解这件事
Artificial Analysis 发布 Coding Agent Index v2.0,以更严格且调整过的基准评测模型与智能体框架组合;新版总榜由 Claude Code + Claude Opus 5.5(max)以61.7分居首。指数共评估290个任务,覆盖软件工程、终端使用和仓库问答三个等权基准,并新增单任务成本与 token 用量。 新版以Cognition FrontierCode v1.1替换DeepSWE,并采用重写部分评分细则、改用GPT-6 Luna(xhigh)五票评审的SWE-Atlas-QnA-AA;该基准的124个仓库问答题中,Muse Code + Muse Wonder Full(max)以68.8%领先,Claude Fable 5.1和Claude Opus 5.5分别为66.4%和65.9%。 Artificial Analysis称,两版均有测试的21种配置中,20种在v2.0分数下降,平均分由54.8降至47.4,主要因FrontierCode得分低于DeepSWE,评分收紧亦有影响。由于评测设置不同,v1.5与v2.0总榜分数不可直接比较。
AI 根据报道生成 · 2 小时前更新
事件进展
3 个进展
- 10月23日 08:17 · 1 篇报道补充说明编码代理指数分数普遍下降AGI Hunt:Artificial Analysis 编码代理指数 v2.0 几乎全员掉分:21 个配置中 20 个下滑
- 10月23日 08:17 · 1 篇报道Muse Wonder Full以68.8%居首AGI Hunt:SWE-Atlas-QnA-AA 新评分中 Muse Wonder Full 以 68.8% 居首
- 10月23日 08:17 · 2 篇报道发布编码智能体指数 v2.0AGI Hunt:Artificial Analysis 发布 Coding Agent Index v2.0,21 种配置分数普遍下调
报道时间线
沿着报道,了解事件的不同侧面。
- AGI HuntArtificial Analysis 发布 Coding Agent Index v2.0,21 种配置分数普遍下调
Artificial Analysis 发布 Coding Agent Index v2.0,新增单任务成本与 token 用量维度,并公开方法论和版本历史。
- AGI HuntArtificial Analysis 编码代理指数 v2.0 几乎全员掉分:21 个配置中 20 个下滑
Artificial Analysis 补充说明,编码代理指数 v2.0 的分数普遍低于 v1.5:两个版本都测试的 21 个配置中,平均分从 54.8 降至 47.4,20 个配置下滑。主要原因是 FrontierCode v1.1 替换 DeepSWE,且更严格的 SWE-Atlas-QnA-AA 评分也贡献了降幅;Terminal-Bench 4.0 未变,两版分数不可直接对比。
- AGI HuntSWE-Atlas-QnA-AA 新评分中 Muse Wonder Full 以 68.8% 居首
Artificial Analysis 详解 Coding Agent Index v2.0 的 SWE-Atlas-QnA-AA 基准,Muse Code + Muse Wonder Full (max) 以 68.8% 排名第一。
- AGI HuntArtificial Analysis 编码代理指数 v2.0 发布:Claude Opus 5.5 以 61.7 居首
Artificial Analysis 发布 Coding Agent Index v2.0,Claude Code + Claude Opus 5.5 (max) 以 61.7 分居首。新版以 Cognition FrontierCode v1.1 替换 DeepSWE,并修订 SWE-Atlas-QnA 评分。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。