港科大等提出动态门控通路：ViT 全层接入 LLM 提升多模态表现

西北工业大学与港科大等机构在论文《Where to Connect?》中提出 Dynamic Gated Pathways，将 ViT 每一层与 LLM 每一层相连，让每个 LLM 层通过门控动态选择所需的视觉粒度。该方法在 LLaVA-1.5 基线上取得一致的多模态性能提升。