跳到正文
热点事件持续更新

实证显示LLM裁判高估强模型产出

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

scaling01公布的实证图表显示,当产出模型强于裁判模型时,LLM裁判会系统性高估评分,而产出模型较弱时,评分基本与人类一致。例如,GPT-5给Fable 5.1产出打0.82分,人类仅给0.26分;GPT-6 Astra自评0.80分,人类仅给0.30分。结果表明,用LLM裁判评估强于自身的模型时,评分可能明显偏高。

AI 根据报道生成 · 54 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月22日
  1. AGI Hunt
    数据图显示:LLM裁判系统性高估更强模型的产出

    一项实证图表显示,当产出模型强于裁判模型时,LLM裁判会系统性高估产出评分。GPT-5给Fable 5.1的产出打0.82,而人类只给0.26;GPT-6 Astra自评0.80,而人类仅给0.30。当产出模型弱于裁判时,评分基本与人类一致。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。