MKA实测:Claude总分领先但无全项占优
先了解这件事
Google DeepMind与Artificial Analysis发布MKA多模态智能体基准及首批实测:Claude Fable 5.2以57%的Climb WSR总分居首,但细分后没有模型在所有行业和交付物上全面领先。Claude在5个行业及PDF、Word、表格、演示文稿四类交付物领先,Gemini拿下2个行业并领跑图像类,DeepSeek V4.1 Flash 1017居文本文件首位。 MKA含200个私有任务、覆盖10个行业。建筑审计幻灯片同任务中,Claude以87%得分胜Gemini 4 Carbon的72%,但耗时约3小时、花费约68美元;Gemini约1小时、约8美元。MKA还区分基线项Regression与高难项Climb,后者更能拉开头部模型差距。
AI 根据报道生成 · 15 分钟前更新
事件进展
7 个进展
- 11月11日 02:22 · 1 篇报道解析MKA基准评分结构AGI Hunt:Artificial Analysis 解析 MKA 评分:头部七模型 Regression 达 95%-97%,Climb 跨度 28%-57%
- 11月11日 02:22 · 1 篇报道公布MKA分文件类型成绩AGI Hunt:MKA 六类交付物成绩:Claude Fable 5.2 领先四类,DeepSeek V4.1 Flash 1017 拿下文本文件第一
- 11月11日 02:22 · 1 篇报道展示MKA基准任务与成本实测AGI Hunt:MKA 示例任务:Fable 5.2 审计建筑图纸,看图 203 次花 $68 完成
- 11月11日 02:22 · 2 篇报道发布MKA基准实测结果AGI Hunt:DeepMind 联合 AA 发布多模态智能体基准 MKA,Claude Fable 5.2 以 57% 居首
- 11月11日 02:16 · 2 篇报道补充MKA同任务成本对比AGI Hunt:MKA 任务实测:Gemini Carbon 约 $8,Claude Fable 5.2 约 $68 获更高分
- 11月11日 02:16 · 1 篇报道公布MKA基准细分成绩AGI Hunt:MKA 基准细分:Claude Fable 5.2 领跑五个行业垂直,Gemini 拿下两项
- 11月11日 01:46 · 3 篇报道Google DeepMind 发布 MKA 智能体基准AGI Hunt:Google DeepMind 发布 MKA 多模态智能体基准
报道时间线
沿着报道,了解事件的不同侧面。
- AGI HuntArtificial Analysis 实测 Google DeepMind MKA 基准:头部模型 Climb 得分 28%~57%
Artificial Analysis 发布 Google DeepMind 多模态知识智能体(MKA)基准实测结果,评测 agent 能否处理建筑图纸、工程原理图和临床扫描等视觉密集型专业文件。基准包含 200 个任务、覆盖 10 个行业领域,头部 7 个模型的 Regression 得分集中在 95%~97%,Climb 得分则为 28%~57%。
- AGI HuntMKA 成本实测:Claude Fable 5.2 与 Gemini 4 Carbon 同任务成本对比
MKA 基准同任务成本对比显示,Claude Fable 5.2 (max) 用 224 轮、约 3 小时、约 $68 完成建筑审计幻灯片,得分 87%;Gemini 4 Carbon (high) 用 76 轮、约 1 小时、约 $8,得分 72%。
- AGI HuntArtificial Analysis 解析 MKA 评分:头部七模型 Regression 达 95%-97%,Climb 跨度 28%-57%
Artificial Analysis 解析 MKA 基准评分结构,头部七模型 Regression 得分集中于 95%-97%,Climb 得分则横跨 28%-57%。Climb 衡量前沿模型仍常失败的高难度项,Regression 对应基线能力,因此前者更能区分强模型。
- AGI HuntMKA 六类交付物成绩:Claude Fable 5.2 领先四类,DeepSeek V4.1 Flash 1017 拿下文本文件第一
Artificial Analysis 公布 MKA 六类交付物成绩,Claude Fable 5.2 领先 PDF、Word、表格和演示文稿四类。Gemini 4 Argon (high) 与 Carbon (high) 领先图像类,DeepSeek V4.1 Flash 1017 位居文本文件第一。Word 和文本文件最难,无模型得分超过 52%。
- AGI HuntMKA 示例任务:Fable 5.2 审计建筑图纸,看图 203 次花 $68 完成
Fable 5.2 (max) 在 MKA 建筑图纸审计示例任务中完成检查并整理结果,使用 224 轮、查看图像 203 次,总成本约 $68。MKA 任务要求模型理解工程原理图、建筑图纸和临床扫描等视觉文档,并产出幻灯片、表格、报告或标注图像。
- AGI HuntDeepMind 联合 AA 发布多模态智能体基准 MKA,Claude Fable 5.2 以 57% 居首
Artificial Analysis 与 Google DeepMind 合作推出多模态智能体基准 MKA,Claude Fable 5.2 以 57% 的 Climb WSR 得分居首。
- AGI HuntGoogle DeepMind 发布 MKA 多模态知识智能体基准,高难任务拉开差距
Artificial Analysis 上线了 Google DeepMind 的 Multimodal Knowledge Agent(MKA)基准,用于测试智能体的多模态知识能力。Regression(基线)标准下,头部七个模型得分集中在 95%-97%;Climb(高难)标准下,各模型得分差距扩大至 28%-57%。
- AGI HuntMKA 任务实测:Gemini Carbon 约 $8,Claude Fable 5.2 约 $68 获更高分
Artificial Analysis 在 MKA 同一任务上比较 Gemini 4 Carbon (high) 与 Claude Fable 5.2 (max) 的成本和表现。
- AGI HuntMKA 基准细分:Claude Fable 5.2 领跑五个行业垂直,Gemini 拿下两项
Artificial Analysis 公布 MKA(Climb WSR)基准细分结果,10 个行业垂直中 Claude Fable 5.2 领跑软件与数据、工程、物流等五项,Gemini 拿下两项。按六种输出文件类型拆分时,模型间差异小于行业垂直差异,Word 与文本文件任务均无模型超过 52%。
- AGI HuntGoogle DeepMind 与 Artificial Analysis 发布 MKA 多模态知识智能体基准
Google DeepMind 与 Artificial Analysis 联合发布 MKA 基准,用于评估自主 AI 智能体在 10 个专业领域处理复杂视觉文件的知识工作能力。Claude Fable 5.2 以 57% 的得分登顶,其中一个任务运行 224 轮,花费约 68 美元。该基准已在 Hugging Face 开放。
- AGI HuntGoogle DeepMind 发布 MKA 多模态智能体基准
Google DeepMind 在 Hugging Face 发布 Multimodal Knowledge Agent(MKA)基准,评估自主 AI 智能体在复杂多步视觉知识任务上的能力。基准覆盖 10 个专业领域,要求智能体理解 CAD 蓝图、原理图、地理空间栅格等视觉工件,跨文档综合并编排代码执行等工具,最终交付结构化文件或技术报告;数据集采用 Apache 2.0 许可。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。