跳到正文
AGI Hunt· MBZUAI·· 44 分钟前AI 评分46

MInfoVisQA:24 语言并行基准揭示多模态模型跨语言鲁棒性差距

MInfoVisQA:24 语言并行基准曝多模态模型跨语言鲁棒性差距

AI 导读

MBZUAI 等机构联合发布 MInfoVisQA,通过 24 种语言平行评测多模态大模型的跨语言视觉问答鲁棒性。基准含 8960 个 QA 配置,由 128 个种子实例构造,并设置语言对齐 QA(LQA)与跨语言 QA(XQA)。对 25 个多模态大模型的评测显示,模型仅切换表面语言时仍存在显著理解差距。

来源:AGI Hunt · agihunt.info