AGI Hunt· YuXiang_IRVL·· 3 小时前AI 评分49
机器人研究团队花 $5K 实测六大模型跑 LIBERO-10,最好成绩仅 44%
团队花 $5K 实测六大模型跑 LIBERO-10,最好成绩仅 44%
AI 导读
一个机器人研究团队自费约 5000 美元,在 LIBERO-10 上以零样本方式评测 GPT(Astra/Sol/Luna)、Claude Opus 和 Gemini 系列共 6 个前沿模型,最佳成功率仅 44%。团队共测试 3 个推理档位、18 种配置和 1800 个 episode,并公开全部基线;更高推理通常有帮助,但 API 成本差异显著。
来源:AGI Hunt · agihunt.info