Stripe开源编码Agent评测基准
热点事件持续更新
Stripe开源编码Agent评测基准
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Stripe于11月20日发布并开源Stripe evals编码Agent评测基准及评测框架,首批覆盖14个模型与执行框架组合。基准设置一次性支付、订阅和Connect三类场景,共69个任务;测试显示,Agent平均满足78%的任务标准,但仅29%的运行全部达标。Stripe称,主要失败原因包括调用过时API、遗漏关键功能和产生幻觉。
AI 根据报道生成 · 47 分钟前更新
最新进展11月20日 02:19
Stripe 开源 Stripe evals 编码 Agent 评测基准,全达标率仅 29%报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- AGI HuntStripe 开源 Stripe evals 编码 Agent 评测基准,全达标率仅 29%
Stripe 于 11 月 20 日发布并开源 Stripe evals 编码 Agent 评测基准与评测框架,首批覆盖 14 个模型-harness 组合。基准包含一次性支付、订阅和 Connect 三类场景共 69 个任务,Agent 平均满足 78% 的标准,但只有 29% 的运行全部达标,主要问题是使用过时 API、遗漏关键功能和产生幻觉。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。