跳到正文
AGI Hunt· MBZUAI·· 4 小时前AI 评分53

MBZUAI 与北大团队提出 SimAudit,审计机器人仿真基准发现 61 处判定缺陷

MBZUAI 提出 SimAudit:机器人仿真基准审计出 61 处判定缺陷

AI 导读

MBZUAI 与北大团队发布基于 LLM 的流水线 SimAudit,用于审计机器人仿真操作基准中手写的成功判定器。在 RoboTwin 2.0、RoboCasa365、RoboDojo 三个基准的 183 个仿真测试用例中,SimAudit 经视觉验证与去重后于 49 个任务中发现 61 个独特缺陷,包括 40 个 phantom success 和 21 个 silent failure。

来源:AGI Hunt · agihunt.info