跳到正文
热点事件持续更新

XDOF评测显示四款具身Agent成功率低

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

mihdalal公布XDOF具身基准测试结果:Astra、Fable、Sol和Opus在真实物理任务中的总体成功率分别为17%、9%、19%和12%,Sol最高但仍不足两成。 测试中,每个Agent完成单项任务最多运行30分钟,每项任务进行25—30次评分运行;多数任务成功率低于20%,整理餐具、把麦片放到托盘、系结和展开T-shirt等任务均为0%。结果表明,这些Agent的实际物理操作能力仍远未达到可用水平。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月22日
  1. AGI Hunt
    XDOF 具身基准评测:四大 LLM Agent 总分最高仅 19%

    XDOF 具身基准测试显示,Astra、Fable、Sol、Opus 四个 LLM Agent 的 Overall 成功率仅为 17%、9%、19% 和 12%。多数任务成功率低于 20%,整理餐具、托盘上麦片、系结和展开 T-shirt 等任务全部为 0%。测试中每个 Agent 最多运行 30 分钟,每项任务进行 25-30 次评分运行,反映其真实物理操作能力仍远未可用。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。