AGI Hunt· wfithian·· 2 小时前AI 评分37
Anthropic 报告的能力指标是什么?其实是 Bradley-Terry 模型拟合参数
AI 导读
Anthropic 报告中的能力度量 AECI 本质上类似 Epoch 的 Capabilities Index (ECI),采用 Item Response Theory 中 Bradley-Terry 类模型拟合参数。ECI 增加一个单位,意味着成功完成任务的 log-odds 增加,其解释类似棋手 Elo 等级;该指标是否会在没有额外 AI 帮助时继续线性增长仍不确定。
来源:AGI Hunt · agihunt.info