跳到正文
热点事件持续更新

编码智能体指数v2.0收紧评测

4 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Artificial Analysis 发布 Coding Agent Index v2.0,以更严格且调整过的基准评测模型与智能体框架组合;新版总榜由 Claude Code + Claude Opus 5.5(max)以61.7分居首。指数共评估290个任务,覆盖软件工程、终端使用和仓库问答三个等权基准,并新增单任务成本与 token 用量。 新版以Cognition FrontierCode v1.1替换DeepSWE,并采用重写部分评分细则、改用GPT-6 Luna(xhigh)五票评审的SWE-Atlas-QnA-AA;该基准的124个仓库问答题中,Muse Code + Muse Wonder Full(max)以68.8%领先,Claude Fable 5.1和Claude Opus 5.5分别为66.4%和65.9%。 Artificial Analysis称,两版均有测试的21种配置中,20种在v2.0分数下降,平均分由54.8降至47.4,主要因FrontierCode得分低于DeepSWE,评分收紧亦有影响。由于评测设置不同,v1.5与v2.0总榜分数不可直接比较。

AI 根据报道生成 · 2 小时前更新

事件进展

3 个进展

  1. 10月23日 08:17 · 1 篇报道
    补充说明编码代理指数分数普遍下降
    AGI Hunt:Artificial Analysis 编码代理指数 v2.0 几乎全员掉分:21 个配置中 20 个下滑
  2. 10月23日 08:17 · 1 篇报道
    Muse Wonder Full以68.8%居首
    AGI Hunt:SWE-Atlas-QnA-AA 新评分中 Muse Wonder Full 以 68.8% 居首
  3. 10月23日 08:17 · 2 篇报道
    发布编码智能体指数 v2.0
    AGI Hunt:Artificial Analysis 发布 Coding Agent Index v2.0,21 种配置分数普遍下调

报道时间线

沿着报道,了解事件的不同侧面。

10月23日
  1. AGI Hunt
    Artificial Analysis 发布 Coding Agent Index v2.0,21 种配置分数普遍下调

    Artificial Analysis 发布 Coding Agent Index v2.0,新增单任务成本与 token 用量维度,并公开方法论和版本历史。

  2. AGI Hunt
    Artificial Analysis 编码代理指数 v2.0 几乎全员掉分:21 个配置中 20 个下滑

    Artificial Analysis 补充说明,编码代理指数 v2.0 的分数普遍低于 v1.5:两个版本都测试的 21 个配置中,平均分从 54.8 降至 47.4,20 个配置下滑。主要原因是 FrontierCode v1.1 替换 DeepSWE,且更严格的 SWE-Atlas-QnA-AA 评分也贡献了降幅;Terminal-Bench 4.0 未变,两版分数不可直接对比。

  3. AGI Hunt
    SWE-Atlas-QnA-AA 新评分中 Muse Wonder Full 以 68.8% 居首

    Artificial Analysis 详解 Coding Agent Index v2.0 的 SWE-Atlas-QnA-AA 基准,Muse Code + Muse Wonder Full (max) 以 68.8% 排名第一。

  4. AGI Hunt
    Artificial Analysis 编码代理指数 v2.0 发布:Claude Opus 5.5 以 61.7 居首

    Artificial Analysis 发布 Coding Agent Index v2.0,Claude Code + Claude Opus 5.5 (max) 以 61.7 分居首。新版以 Cognition FrontierCode v1.1 替换 DeepSWE,并修订 SWE-Atlas-QnA 评分。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。