AGI Hunt· ziqiao_ma·· 2 小时前AI 评分39
「评测的评测」爬坡:Scale AI、Mercor 等十余家评测方共建元基准
「评测的评测」爬坡:Scale、Mercor 等十余家评测方共建元基准
AI 导读
Scale AI、Mercor 等十余家评测机构正在以爬山式迭代推进「benchmark benchmark」(评测基准的基准),将各家评测榜单本身作为对象开展元评估。相关工作汇聚 Abundant Labs、ARC Prize、LMArena、Artificial Analysis、DataCurve 等机构,属于新兴的 meta-evaluation 方向,目前披露的帖子细节仍有限。
来源:AGI Hunt · agihunt.info