跳到正文
AGI Hunt· hazelcough·· 2 小时前AI 评分73

Stripe 开源 Stripe evals 编码 Agent 评测基准,全达标率仅 29%

Stripe 开源编码 Agent 评测基准:全达标率仅 29%

AI 导读

Stripe 于 11 月 20 日发布并开源 Stripe evals 编码 Agent 评测基准与评测框架,首批覆盖 14 个模型-harness 组合。基准包含一次性支付、订阅和 Connect 三类场景共 69 个任务,Agent 平均满足 78% 的标准,但只有 29% 的运行全部达标,主要问题是使用过时 API、遗漏关键功能和产生幻觉。

来源:AGI Hunt · agihunt.info