匹兹堡大学团队训练 VLM 保留潜在空间结构

匹兹堡大学团队提出一种训练方法，让视觉语言模型（VLM）保留表征中潜藏的空间结构。方法先跨帧汇聚物体特征并投影去除主导外观方向，再在合成 3D 坐标任务中用 LoRA 训练并加入 Dirichlet 能量正则，约束模型维持空间邻域关系。该方法可从自我中心视觉输入探测并恢复场景拓扑，并在 VSI-Bench 等空间感知基准上取得提升。