跳到正文
热点事件持续更新

研究者提出大模型评测基准健康指数

1 篇报道1 个报道来源57 分钟前更新

先了解这件事

AI 综述

SKYEVAL与阿里达摩院研究者提出Benchmark Health Index(BHI),用于审计大模型评测基准,共分析来自117个模型报告的158个基准。 BHI结合区分度、反饱和和影响力三类信号,采用留一基准法与CRITIC加权计算总分;移除30%的模型后,基准排名的Spearman相关性仍高于0.97,可用于模型进步时挑选和复审评测集。

AI 根据报道生成 · 23 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. AGI Hunt
    SKYEVAL 与阿里达摩院提出 Benchmark Health Index,审计 158 个大模型评测基准

    SKYEVAL 与阿里达摩院研究者提出 Benchmark Health Index(BHI),审计来自 117 个模型报告的 158 个大模型评测基准。BHI 综合区分度、反饱和与影响力三类信号,采用 leave-one-benchmark-out 和 CRITIC 加权生成总分;移除 30% 的模型后,基准排名的 Spearman 相关性仍高于 0.97。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。