跳到正文
AGI Hunt· Josef Liyanjun Chen·· 3 小时前AI 评分61

RoboJev-27B 开源发布,机器人操作判定准确率达 95.2%

开源 RoboJev-27B 判机器人成败:95.2% 准确率,比 GPT-6 便宜 48 倍

AI 导读

RoboJev-27B 作为开源权重的视觉语言裁判模型发布,用于从视频帧判断机器人操作是否成功。在 268 条 held-out SO-101 运行上,其平衡准确率为 95.2%,未见实验室 AUROC 为 0.890,每千次回答成本为 $0.19。作者称其准确率超过 GPT-6 Astra、Opus 5.5 和 Sonnet 5.5,单块 H100 每秒可输出 3.9 个答案。

来源:AGI Hunt · agihunt.info