跳到正文
AGI Hunt· Tengju Ru·· 2 小时前AI 评分34

GAFU 用生成侧表征提升统一多模态模型细粒度视觉理解

AI 导读

GAFU 方法利用统一多模态模型的原生生成侧表征,增强细粒度视觉理解。方法先通过空间绑定与关系结构对齐,将生成编码器输出的 G-tokens 压缩并与理解编码器对齐;推理时再将投影后的 G-tokens 作为 cross-attention 的 K/V,按任务读取视觉细节。

来源:AGI Hunt · agihunt.info