研究显示 encoder-free 多模态 LLM 会在早期层自学出编码器特性

一项源于 JSALT 合作的研究发现，encoder-free 多模态 LLM（如 Gemma-4-12B 和 Inkling-Small）会在早期层重新学习出类似视觉编码器的表示特性。消融实验显示，同为 0.4B 参数和相同层数时，视觉专用分支得分 45.0，高于独立编码器的 44.4，支持将编码器层融入 LLM 主干的“in-fusion”思路。