跳到正文
AGI Hunt· RexDouglass·· 2 小时前AI 评分42

NeurIPS 新论文:LLM 评测管道的隐性测量误差会扭曲基准结果

NeurIPS 新论文:LLM 评测管道的隐性测量误差扭曲基准结果,数据越多越糟

AI 导读

一篇 NeurIPS 新论文指出,prompt、judge 与 agent harness 引入的隐性测量误差,会扭曲 LLM 标注、评测和基准结果,导致误差被系统性低估。研究认为,数据量越大,测量误差反而越严重,并将进一步讨论置信区间(CI)的含义与修复方法,以及 benchmark hacking 更容易发生的原因。

来源:AGI Hunt · agihunt.info