AGI Hunt· kalyan_kpl·· 3 小时前AI 评分44
MDU 多语言文档理解基准评测 45 个 VLM,最佳平均分仅 69.0
多语言文档理解新基准 MDU:评测 45 个 VLM,最优仅 69 分远未饱和
AI 导读
新论文发布 MDU 多语言文档理解基准,以 23146 个样例覆盖 13 类任务和 5 种语言,统一评测 45 个开源权重 VLM 及 1 个商用系统。最佳平均分为 69.0,仅 8 个系统达到 65 分以上,且两个最佳成绩来自 27B 模型,显示基准远未饱和、模型越大并不必然越强。
来源:AGI Hunt · agihunt.info