跳到正文
AGI Hunt· Yucheng Zhou·· 47 分钟前AI 评分42

UMM-JEPA:用连续表征预测替代离散码训练,提升多模态模型理解力

UMM-JEPA:用连续表征预测替代离散码训练,统一多模模型理解力大涨

AI 导读

澳门大学与腾讯 Youtu Lab 提出 UMM-JEPA,以多尺度连续表征预测替代离散视觉码训练,解耦像素渲染与表征预训练。其在16个视觉基准均值达51.71,高于仅理解Qwen-VL基线46.36,文本均值也上升。对照实验显示,表征预测贡献了绝大部分理解提升,较离散码与 latent-flow 目标向理解迁移更强。

来源:AGI Hunt · agihunt.info