跳到正文
热点事件持续更新

SSoN基准揭示视觉语言模型空间一致性短板

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

普林斯顿 AI Lab 主导的团队在 arXiv 发布 Same Space or Not(SSoN)基准,以1000道多视图场景题测试视觉语言模型能否识别空间矛盾并给出视觉解释。结果显示,人类准确率为83.3%,最强模型仅39.7%;要求同时提供有效视觉解释后,模型准确率降至34.9%。 每题包含同一室内场景的三个视图和一个经受控编辑的视图,且不指定参照图;模型既要找出矛盾视图,也要解释判断依据。

AI 根据报道生成 · 43 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月23日
  1. AGI Hunt
    普林斯顿 AI Lab 发布 SSoN 基准:最强视觉语言模型空间一致性准确率仅 39.7%,人类达 83.3%

    普林斯顿 AI Lab 主导的团队在 arXiv 发布 SSoN 基准,以 1000 道多视图场景题测试视觉语言模型识别空间矛盾并提供视觉解释的能力。人类准确率为 83.3%,最强模型仅 39.7%;要求同时给出有效视觉解释后,模型成绩降至 34.9%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。