跳到正文
热点事件持续更新

FrontierCode 2.0榜单与模型成本对比

11 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Cognition发布FrontierCode 2.0编码评测结果:Claude Opus 5.5(max)以46.4%的得分居首,GPT-6 Astra、GPT-6.1 Terra和Claude Sonnet 5.5(max)均约42%;价格性能榜则由GPT-6.1 Sol领先,每任务成本1.03美元、得分39%。 该基准包含132个真实开源仓库任务,以维护者是否愿意合并模型产出为标准,任务保密且每项运行三次,任一阻断性检查失败即计零分。1337hero的观察称,Anthropic模型在相关前沿任务中的token消耗比对手高200%至300%、耗时约两倍,综合成本高10至50倍,显示其得分领先并不等同于性价比领先。

AI 根据报道生成 · 47 分钟前更新

事件进展

7 个进展

  1. 10月28日 23:41 · 2 篇报道
    公布FrontierCode 2模型消耗观察
    AGI Hunt:FrontierCode 2 实测:Anthropic 模型 token 消耗与成本高于对手
  2. 10月28日 22:39 · 1 篇报道
    更正DeepSeek评测表现说法
    AGI Hunt:更正:DeepSeek-V4.1-Flash-1017 在 FrontierCode 2.0 得分约 28%,并非最强
  3. 10月28日 15:48 · 2 篇报道
    FrontierCode 2.0 评测数据指向疑似隐藏模型 Obsidian 3
    AGI Hunt:FrontierCode 2.0 评测数据指向疑似隐藏模型 Obsidian 3
  4. 10月28日 13:02 · 1 篇报道
    GPT-6.1 Terra登顶编码基准
    AGI Hunt:GPT-6.1 Terra 位居 Frontier Code 2.0 榜首,输入价格为每百万 token 1 美元
  5. 10月28日 10:11 · 1 篇报道
    FrontierCode 2.0编码榜发布
    AGI Hunt:FrontierCode 2.0 评测结果:Claude Opus 5.5 得 46%,DeepSeek V4.1 Flash 落后 18 分
  6. 10月28日 02:00 · 2 篇报道
    Cognition发布FrontierCode 2榜单
    AGI Hunt:FrontierCode 2.0 编码评测:Claude Opus 5.5 居首,隐藏模型 Obsidian 3 引发争议
  7. 10月28日 01:47 · 1 篇报道
    推出 FrontierCode 2.0 编码基准
    AGI Hunt:Cognition 发布 FrontierCode 2.0:用模糊需求考验 AI 的工程判断力

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. AGI Hunt
    FrontierCode 2.0 实测显示 Anthropic 模型成本高 10 至 50 倍

    FrontierCode 2.0 实测指出,Anthropic 模型在前沿编程任务中的 token 消耗比对手多 200%-300%,综合成本高出 10 至 50 倍。该基准基于 Cognition 出品,包含 132 个真实开源仓库任务,并以维护者是否愿意合并 AI 产出为评分标准。

  2. AGI Hunt
    FrontierCode 2 实测:Anthropic 模型 token 消耗与成本高于对手

    bookwormengr 转述 1337hero 对 FrontierCode 2.0 基准的观察,Anthropic 模型在前沿任务中的 token 消耗高出 200%-300%,耗时约 2 倍,成本高出 10-50 倍。

  3. AGI Hunt
    更正:DeepSeek-V4.1-Flash-1017 在 FrontierCode 2.0 得分约 28%,并非最强

    更正信息显示,DeepSeek-V4.1-Flash-1017 在 FrontierCode 2.0 上得分约 28%,表现远落后于前沿模型。此前误判源于 Cognition 传播的不实信息;除 DeepSeek-V4.1-Flash-1017 外,所有模型都通过了 FrontierCode 2.0。

  4. AGI Hunt
    FrontierCode 2.0 编码评测:Claude Opus 5.5 居首,隐藏模型 Obsidian 3 引发争议

    Cognition 发布 FrontierCode 2.0 编码评测榜单,Claude Opus 5.5 以 46.4% 居首。该基准包含 132 个真实开源仓库任务,按维护者是否愿意合并评分且任务不公开。

  5. AGI Hunt
    Cognition FrontierCode 评测截图疑似泄露神秘模型 Obsidian 3:46.8% 超 Opus 5.5

    Cognition FrontierCode 2.0 评测截图疑似泄露名为 Obsidian 3 的未确认模型,其 high effort 档得分 46.8%,高于 Opus 5.5 的 max 档 45.5%。

  6. AGI Hunt
    FrontierCode 2.0 评测数据指向疑似隐藏模型 Obsidian 3

    teortaxesTex 分析 FrontierCode 2.0 评测数据,怀疑其中存在未公开的 Obsidian 3。数据显示,Obsidian 3 在 high 档得分 46.7%、单次 rollout 成本 $8.62,约为 Opus 5.5 同档成本的 3.6 倍;提升至 max 档后成本升至 $47.44,得分反回落至 45.5%。

  7. AGI Hunt
    FrontierCode 2 榜单引争议:开源模型比较被指存在选择性偏差

    Artificial Analysis 的 Frontier Code 2 榜单因开源模型比较方式引发社区争议。有帖子声称“GPT-5.5 碾压所有被测中国模型”,但 bookwormengr 反驳称榜单未包含 Kimi 3.1,并指出相关开源模型表现并不如描述般落后;DeepSeek 粉丝 teortaxesTex 则指责对方选择性比较。

  8. AGI Hunt
    GPT-6.1 Terra 位居 Frontier Code 2.0 榜首,输入价格为每百万 token 1 美元

    GPT-6.1 Terra 位居 Frontier Code 2.0 编码基准榜首,输入价格为每百万 token 1 美元。定价还包括输出 5 美元、缓存输入 0.05 美元,以及 30 分钟和 12 小时缓存写入 1.25 美元和 2.50 美元;引用数据称,Qwen V4.1-1017、Kimi K3.1 Pro 较上版分别提升 8.9% 和 7.3%。

  9. AGI Hunt
    FrontierCode 2.0 评测结果:Claude Opus 5.5 得 46%,DeepSeek V4.1 Flash 落后 18 分

    Artificial Analysis 公布 Cognition 新发布的私有编码基准 FrontierCode 2.0 细分榜,Claude Opus 5.5(max)以 46% 居首,GPT-6 Astra、GPT-6.1 Terra 与 Claude Sonnet 5.5(max)均为 42%。

  10. AGI Hunt
    FrontierCode 2 榜单:OpenAI 与 Anthropic 几乎包揽前 20,中国模型垫底

    Cognition 发布 FrontierCode 2 榜单,OpenAI 与 Anthropic 几乎包揽 top 20。GPT-6.1 Sol 以 $1.03/任务 得 39% 领跑性价比侧;Opus 5.5 max 得分 45.5%。DeepSeek V4.1 Flash 排第 52,Kimi K3 与 GLM 5.3 均得 17%。

  11. AGI Hunt
    Cognition 发布 FrontierCode 2.0:用模糊需求考验 AI 的工程判断力

    Cognition 与 DevinAI 成员及研究团队合作推出编码基准 FrontierCode 2.0。该基准以“这个 PR 你真的会合并吗”为核心,通过保留模糊需求的欠明确提示,考察模型在任务多样、范围更大及可合并性标准更高的情况下,能否自主判断代码是否值得合并。

本事件热度走势

可比范围当前
10
可比范围峰值
1010月28日 21:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。