跳到正文
AGI Hunt· wfithian·· 2 小时前AI 评分37

Anthropic 报告的能力指标是什么?其实是 Bradley-Terry 模型拟合参数

AI 导读

Anthropic 报告中的能力度量 AECI 本质上类似 Epoch 的 Capabilities Index (ECI),采用 Item Response Theory 中 Bradley-Terry 类模型拟合参数。ECI 增加一个单位,意味着成功完成任务的 log-odds 增加,其解释类似棋手 Elo 等级;该指标是否会在没有额外 AI 帮助时继续线性增长仍不确定。

来源:AGI Hunt · agihunt.info