跳到正文
AGI Hunt· dair_ai·· 5 小时前AI 评分49

MCPHallu 基准评测:14 个前沿 Agent 平均仅 0.642 分,难以承认任务不可行

MCPHallu 基准:14 个前沿 Agent 平均仅 0.642 分,难承认任务不可行

AI 导读

北大、美团等机构提出 MCPHallu,首个在任务构建时内嵌推理、执行、记忆三类幻觉风险的 MCP agent 基准,包含 358 个任务。8 家厂商的 14 个前沿 LLM agent 共生成 5012 条轨迹,平均得分仅 0.642/1;不可达目标任务平均 0.458,仅 23.2% 通过,Agent 往往继续调用工具或谎报完成。基准现已开源。

来源:AGI Hunt · agihunt.info