跳到正文
AGI Hunt· YuXiang_IRVL·· 3 小时前AI 评分49

机器人研究团队花 $5K 实测六大模型跑 LIBERO-10,最好成绩仅 44%

团队花 $5K 实测六大模型跑 LIBERO-10,最好成绩仅 44%

AI 导读

一个机器人研究团队自费约 5000 美元,在 LIBERO-10 上以零样本方式评测 GPT(Astra/Sol/Luna)、Claude Opus 和 Gemini 系列共 6 个前沿模型,最佳成功率仅 44%。团队共测试 3 个推理档位、18 种配置和 1800 个 episode,并公开全部基线;更高推理通常有帮助,但 API 成本差异显著。

来源:AGI Hunt · agihunt.info