AGI Hunt· meta·· 2 小时前AI 评分41
Meta FAIR 与 NYU 论文:多模态模型无需预训练视觉编码器,关键是专用视觉容量
Meta FAIR 论文:多模态模型不需要预训练视觉编码器,关键是专用视觉容量
AI 导读
Meta FAIR 与 NYU 通过统一数据、匹配计算量的受控消融发现,多模态模型从零联合训练的视觉编码器表现与预训练编码器相当,视觉先验并非必需。给无独立编码器的 backbone 增加等量参数的专用视觉容量后,视觉理解不落下风;以 in-fusion 方式早期加入,还可替代 pre-fusion 编码器并降低首 token 延迟。
来源:AGI Hunt · agihunt.info