跳到正文
热点事件持续更新

Visa发布购物智能体基准,暴露模型误购问题

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Visa于11月5日发布Agentic Commerce Benchmark,通过15个购物场景测试12家实验室的22个购物智能体模型,考察模型在没有合适商品时能否选择“不买”。评测显示,模型总体通过率为57.2%,同一场景连续三次全部通过的仅为34.2%;54%的失败案例中,模型仍完成了不应进行的购买。Visa称,该基准衡量的是购物决策而非真实用户支出,并建议在实际试点前记录客户需求,区分不适合的购买和存在合适商品时的无谓拒绝。

AI 根据报道生成 · 57 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月10日
  1. AGI Hunt
    Visa购物智能体基准显示22个模型总通过率为57.2%,54%失败案例仍下单

    Visa于11月5日发布Agentic Commerce Benchmark,用15个购物场景测试12家实验室的22个模型,考察智能体在无合适商品时能否选择“不买”。总体通过率为57.2%,同一场景三次尝试全部通过的仅34.2%,54%的失败案例中智能体仍完成了购买。作者提醒,该基准衡量的是买卖决策而非真实用户支出,并建议在试点前明确记录客户需求,分别统计不合适的购买和存在合适商品时的无谓拒绝。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。