跳到正文
AGI Hunt· mihdalal·· 3 小时前AI 评分49

XDOF 具身基准评测:四大 LLM Agent 总分最高仅 19%

XDOF 具身基准:四大 LLM Agent 总分最高仅 19%

AI 导读

XDOF 具身基准测试显示,Astra、Fable、Sol、Opus 四个 LLM Agent 的 Overall 成功率仅为 17%、9%、19% 和 12%。多数任务成功率低于 20%,整理餐具、托盘上麦片、系结和展开 T-shirt 等任务全部为 0%。测试中每个 Agent 最多运行 30 分钟,每项任务进行 25-30 次评分运行,反映其真实物理操作能力仍远未可用。

来源:AGI Hunt · agihunt.info