BedBench论文揭示VLM按颜色精确计数准确率显著落后人类

Stanford、Toronto、Oxford等机构发布BedBench，以13个程序化生成任务评测视觉语言模型的3D物体属性判断与复合推理。人类按颜色精确计数的准确率为93.3%，表现最好的模型仅为7.2%；针对性微调可将一个模型从3.0%提升至68.6%，但其回答仍与逐色计数不一致。论文进一步以精确正确性、一致性和视觉依赖三个维度评估VLM的3D推理。