跳到正文
AGI Hunt· krishnan·· 1 小时前AI 评分63

Visa购物智能体基准显示22个模型总通过率为57.2%,54%失败案例仍下单

Visa 购物智能体基准:22 模型总通过率 57.2%,54% 失败仍下单

AI 导读

Visa于11月5日发布Agentic Commerce Benchmark,用15个购物场景测试12家实验室的22个模型,考察智能体在无合适商品时能否选择“不买”。总体通过率为57.2%,同一场景三次尝试全部通过的仅34.2%,54%的失败案例中智能体仍完成了购买。作者提醒,该基准衡量的是买卖决策而非真实用户支出,并建议在试点前明确记录客户需求,分别统计不合适的购买和存在合适商品时的无谓拒绝。

来源:AGI Hunt · agihunt.info