跳到正文
热点事件持续更新

Stripe开源编码Agent评测基准

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Stripe于11月20日发布并开源Stripe evals编码Agent评测基准及评测框架,首批覆盖14个模型与执行框架组合。基准设置一次性支付、订阅和Connect三类场景,共69个任务;测试显示,Agent平均满足78%的任务标准,但仅29%的运行全部达标。Stripe称,主要失败原因包括调用过时API、遗漏关键功能和产生幻觉。

AI 根据报道生成 · 47 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. AGI Hunt
    Stripe 开源 Stripe evals 编码 Agent 评测基准,全达标率仅 29%

    Stripe 于 11 月 20 日发布并开源 Stripe evals 编码 Agent 评测基准与评测框架,首批覆盖 14 个模型-harness 组合。基准包含一次性支付、订阅和 Connect 三类场景共 69 个任务,Agent 平均满足 78% 的标准,但只有 29% 的运行全部达标,主要问题是使用过时 API、遗漏关键功能和产生幻觉。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。