新论文揭示 VLM 模态鸿沟根源：文本 token 语义密度远低于视觉 token

arXiv 论文《Process then Retrieve: Investigating the Origins of the Modality Gap in Vision-Language Models》指出，VLM 模态鸿沟源于文本 token 的语义密度远低于视觉 token。替换实验显示，模型早期层会优先处理文本表征，再与视觉信息结合，为改进多模态推理架构提供机制依据。