跳到正文
AGI Hunt· sebkrier·· 1 小时前AI 评分48

AI 能力缺统一标尺:sebkrier 逐项拆解基准分数、Elo、ECI、METR 时间视界的缺陷

AI 能力缺统一标尺:sebkrier 逐项拆解基准分数、Elo、ECI、METR 时间视界的缺陷

AI 导读

sebkrier 指出,判断 AI 轨迹需要“+1 永远代表同等进步幅度”的统一 y 轴,但现有度量都只是不完美代理指标。基准分数与 Elo 难以反映真实能力增量,ECI 受建模假设及内生相关性影响。METR 时间视界约为 10^(k×总分),其心理测量学性质和能力线性假设也需审慎对待。

来源:AGI Hunt · agihunt.info