跳到正文
热点事件持续更新

Dai团队发布视觉推理评测新基准

2 篇报道1 个报道来源7 小时前更新

先了解这件事

AI 综述

Andrew Dai 团队联合 Mercor 与 UniPatAI 发布 DecoyCount 和 ScienceVision，分别评测视觉模型的感知失败与推理失败，区分“没看见”和“看见了但推不动”。Mercor 称，将两类错误分开度量可提升基准评测的有效性；Andrew Dai 表示期待后续合作。 DecoyCount v6 收录 1,586 个带预注册干扰项的计数任务，通过中性提示、对齐提示和多跳条件量化感知与推理错位；ScienceVision 用于评测科学场景下的视觉理解。两个基准的数据集与评测代码已按 MIT 许可在 GitHub 开源，相关论文发表于 arXiv:2610.34855。

AI 根据报道生成 · 7 小时前更新

最新进展11月7日 06:11
Mercor 联手发表新研究：区分模型「看不见」与「推不动」

报道时间线

沿着报道，了解事件的不同侧面。

11月7日
  1. AGI Hunt
    Mercor 联手发表新研究：区分模型「看不见」与「推不动」

    AI 求职/评估平台 Mercor 与研究者合作发表研究，分别度量模型的感知失败与推理失败，即“没看见”和“看见了但推不动”，以提升 benchmark 的有效性。合作研究者 AndrewDai 发帖致谢，并表示期待后续合作。

  2. AGI Hunt
    DecoyCount 与 ScienceVision 两个 benchmark 拆解视觉推理错位

    Andrew Dai 团队发布 DecoyCount 与 ScienceVision 两个 benchmark，区分视觉模型“没看见”和“看见但推理不对”。DecoyCount v6 含 1,586 个带预注册干扰项的计数任务，以中性、对齐提示和多跳条件量化错位；ScienceVision 评测科学场景视觉理解，数据集与代码按 MIT 许可在 GitHub 开源。

本事件热度走势

可比范围当前
8
可比范围峰值
1011月7日 07:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。