跳到正文
热点事件持续更新

GDPx与ECI榜单模型排名高度一致

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

AI 基准观察账号 scaling01 分析称,Epoch AI 的 GDPx 榜单与 ECI 榜单虽然方法论和任务设计不同,但对 17 个同时拥有两项分数的模型给出的排名几乎一致:Spearman 相关系数 ρ=0.983,Kendall τ=0.912;只有在 ECI 覆盖基准少于 15 个的情况下,两套榜单才出现排序分歧。 这一结果说明两套评测在覆盖充分的模型上互相印证,但样本量仅为 17 个模型,且该结论来自 scaling01 对公开榜单的统计,而非 Epoch AI 官方发布。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月3日
  1. AGI Hunt
    GDPx 与 Epoch ECI 两套榜单高度一致,Spearman 相关达 0.983

    Epoch AI 的 GDPx 榜单与 ECI 榜单在方法论和任务设计不同的情况下,对 17 个模型的排名高度一致,Spearman ρ=0.983、Kendall τ=0.912,仅在 ECI 覆盖基准少于 15 个时出现分歧。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。