跳到正文
热点事件持续更新

MKA实测:Claude总分领先但无全项占优

11 篇报道1 个报道来源32 分钟前更新

先了解这件事

AI 综述

Google DeepMind与Artificial Analysis发布MKA多模态智能体基准及首批实测:Claude Fable 5.2以57%的Climb WSR总分居首,但细分后没有模型在所有行业和交付物上全面领先。Claude在5个行业及PDF、Word、表格、演示文稿四类交付物领先,Gemini拿下2个行业并领跑图像类,DeepSeek V4.1 Flash 1017居文本文件首位。 MKA含200个私有任务、覆盖10个行业。建筑审计幻灯片同任务中,Claude以87%得分胜Gemini 4 Carbon的72%,但耗时约3小时、花费约68美元;Gemini约1小时、约8美元。MKA还区分基线项Regression与高难项Climb,后者更能拉开头部模型差距。

AI 根据报道生成 · 15 分钟前更新

事件进展

7 个进展

  1. 11月11日 02:22 · 1 篇报道
    解析MKA基准评分结构
    AGI Hunt:Artificial Analysis 解析 MKA 评分:头部七模型 Regression 达 95%-97%,Climb 跨度 28%-57%
  2. 11月11日 02:22 · 1 篇报道
    公布MKA分文件类型成绩
    AGI Hunt:MKA 六类交付物成绩:Claude Fable 5.2 领先四类,DeepSeek V4.1 Flash 1017 拿下文本文件第一
  3. 11月11日 02:22 · 1 篇报道
    展示MKA基准任务与成本实测
    AGI Hunt:MKA 示例任务:Fable 5.2 审计建筑图纸,看图 203 次花 $68 完成
  4. 11月11日 02:22 · 2 篇报道
    发布MKA基准实测结果
    AGI Hunt:DeepMind 联合 AA 发布多模态智能体基准 MKA,Claude Fable 5.2 以 57% 居首
  5. 11月11日 02:16 · 2 篇报道
    补充MKA同任务成本对比
    AGI Hunt:MKA 任务实测:Gemini Carbon 约 $8,Claude Fable 5.2 约 $68 获更高分
  6. 11月11日 02:16 · 1 篇报道
    公布MKA基准细分成绩
    AGI Hunt:MKA 基准细分:Claude Fable 5.2 领跑五个行业垂直,Gemini 拿下两项
  7. 11月11日 01:46 · 3 篇报道
    Google DeepMind 发布 MKA 智能体基准
    AGI Hunt:Google DeepMind 发布 MKA 多模态智能体基准

报道时间线

沿着报道,了解事件的不同侧面。

11月11日
  1. AGI Hunt
    Artificial Analysis 实测 Google DeepMind MKA 基准:头部模型 Climb 得分 28%~57%

    Artificial Analysis 发布 Google DeepMind 多模态知识智能体(MKA)基准实测结果,评测 agent 能否处理建筑图纸、工程原理图和临床扫描等视觉密集型专业文件。基准包含 200 个任务、覆盖 10 个行业领域,头部 7 个模型的 Regression 得分集中在 95%~97%,Climb 得分则为 28%~57%。

  2. AGI Hunt
    MKA 成本实测:Claude Fable 5.2 与 Gemini 4 Carbon 同任务成本对比

    MKA 基准同任务成本对比显示,Claude Fable 5.2 (max) 用 224 轮、约 3 小时、约 $68 完成建筑审计幻灯片,得分 87%;Gemini 4 Carbon (high) 用 76 轮、约 1 小时、约 $8,得分 72%。

  3. AGI Hunt
    Artificial Analysis 解析 MKA 评分:头部七模型 Regression 达 95%-97%,Climb 跨度 28%-57%

    Artificial Analysis 解析 MKA 基准评分结构,头部七模型 Regression 得分集中于 95%-97%,Climb 得分则横跨 28%-57%。Climb 衡量前沿模型仍常失败的高难度项,Regression 对应基线能力,因此前者更能区分强模型。

  4. AGI Hunt
    MKA 六类交付物成绩:Claude Fable 5.2 领先四类,DeepSeek V4.1 Flash 1017 拿下文本文件第一

    Artificial Analysis 公布 MKA 六类交付物成绩,Claude Fable 5.2 领先 PDF、Word、表格和演示文稿四类。Gemini 4 Argon (high) 与 Carbon (high) 领先图像类,DeepSeek V4.1 Flash 1017 位居文本文件第一。Word 和文本文件最难,无模型得分超过 52%。

  5. AGI Hunt
    MKA 示例任务:Fable 5.2 审计建筑图纸,看图 203 次花 $68 完成

    Fable 5.2 (max) 在 MKA 建筑图纸审计示例任务中完成检查并整理结果,使用 224 轮、查看图像 203 次,总成本约 $68。MKA 任务要求模型理解工程原理图、建筑图纸和临床扫描等视觉文档,并产出幻灯片、表格、报告或标注图像。

  6. AGI Hunt
    DeepMind 联合 AA 发布多模态智能体基准 MKA,Claude Fable 5.2 以 57% 居首

    Artificial Analysis 与 Google DeepMind 合作推出多模态智能体基准 MKA,Claude Fable 5.2 以 57% 的 Climb WSR 得分居首。

  7. AGI Hunt
    Google DeepMind 发布 MKA 多模态知识智能体基准,高难任务拉开差距

    Artificial Analysis 上线了 Google DeepMind 的 Multimodal Knowledge Agent(MKA)基准,用于测试智能体的多模态知识能力。Regression(基线)标准下,头部七个模型得分集中在 95%-97%;Climb(高难)标准下,各模型得分差距扩大至 28%-57%。

  8. AGI Hunt
    MKA 任务实测:Gemini Carbon 约 $8,Claude Fable 5.2 约 $68 获更高分

    Artificial Analysis 在 MKA 同一任务上比较 Gemini 4 Carbon (high) 与 Claude Fable 5.2 (max) 的成本和表现。

  9. AGI Hunt
    MKA 基准细分:Claude Fable 5.2 领跑五个行业垂直,Gemini 拿下两项

    Artificial Analysis 公布 MKA(Climb WSR)基准细分结果,10 个行业垂直中 Claude Fable 5.2 领跑软件与数据、工程、物流等五项,Gemini 拿下两项。按六种输出文件类型拆分时,模型间差异小于行业垂直差异,Word 与文本文件任务均无模型超过 52%。

  10. AGI Hunt
    Google DeepMind 与 Artificial Analysis 发布 MKA 多模态知识智能体基准

    Google DeepMind 与 Artificial Analysis 联合发布 MKA 基准,用于评估自主 AI 智能体在 10 个专业领域处理复杂视觉文件的知识工作能力。Claude Fable 5.2 以 57% 的得分登顶,其中一个任务运行 224 轮,花费约 68 美元。该基准已在 Hugging Face 开放。

  11. AGI Hunt
    Google DeepMind 发布 MKA 多模态智能体基准

    Google DeepMind 在 Hugging Face 发布 Multimodal Knowledge Agent(MKA)基准,评估自主 AI 智能体在复杂多步视觉知识任务上的能力。基准覆盖 10 个专业领域,要求智能体理解 CAD 蓝图、原理图、地理空间栅格等视觉工件,跨文档综合并编排代码执行等工具,最终交付结构化文件或技术报告;数据集采用 Apache 2.0 许可。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。