多模态模型视觉推理失败根因：参照缺口而非感知缺陷

多模态模型在计数等多步视觉推理中的失败，主要源于参照缺口，而非视觉感知缺陷。作者构建 ReGap-Bench，以五个成对任务测试编号等外部参照的作用；任务匹配的参照可使准确率最多提升 25%，不匹配参照则收益甚微甚至损害表现。构建任务适配的视觉参照，是突破视觉推理瓶颈的关键。