AGI Hunt· scaling01·· 4 小时前AI 评分48
Epoch AI 改用贝叶斯模型重估 ECI,量化模型强弱概率
Epoch AI 改用贝叶斯模型重估 ECI:可算模型孰强概率
AI 导读
Epoch AI 将模型能力指数 ECI 的统计方法从频率学派升级为贝叶斯模型,可直接计算“模型 A 比模型 B 更强的概率”。新方法基于项目反应理论,为 59 个 benchmark 分别拟合噪声;GPT-4 以上前沿模型平均得分变动小于 1 个 ECI 点,排名基本稳定。
来源:AGI Hunt · agihunt.info