跳到正文
AGI Hunt· AndrewDai·· 8 小时前AI 评分42

DecoyCount 与 ScienceVision 两个 benchmark 拆解视觉推理错位

模型看得见还是推不动?DecoyCount 等 two benchmark 拆解视觉推理错位

AI 导读

Andrew Dai 团队发布 DecoyCount 与 ScienceVision 两个 benchmark,区分视觉模型“没看见”和“看见但推理不对”。DecoyCount v6 含 1,586 个带预注册干扰项的计数任务,以中性、对齐提示和多跳条件量化错位;ScienceVision 评测科学场景视觉理解,数据集与代码按 MIT 许可在 GitHub 开源。

来源:AGI Hunt · agihunt.info