AGI Hunt· scaling01·· 4 小时前AI 评分51
scaling01 回顾停更 Elo 转投 ECI,现以 Glicko-2 自建榜评估模型
博主弃用自建 Elo 榜转投 ECI,自建 Glicko-2 榜仍称 Gemini 2.5 Pro 居首
AI 导读
scaling01 重新更新模型能力排行榜,在手工清洗数据后改用 Glicko-2,并将模型至少出现在 10 个 benchmark 的上榜门槛从 5 个提高,以增强榜单稳定性。新榜标注各模型 95% 置信下界和出场次数,结果仍由 Gemini 2.5 Pro 居首;他同时回顾了一年前因认可 ECI 的 IRT 方法而停更自建 Elo 榜的决定。
来源:AGI Hunt · agihunt.info