跳到正文
AGI Hunt· remilouf·· 4 小时前AI 评分46

贝叶斯分析质疑 LLM 基准测试:跑分噪声极大,各模型或实际打平

贝叶斯分析称 LLM 跑分噪声极大,各模型实际或打平

AI 导读

开发者 remilouf 用贝叶斯方法分析后质疑现行 LLM 基准测试的可靠性,认为现阶段所有模型可能都是打平的。他在 tau2 bench 上测得 95% 置信区间为 +5 到 +13,显示跑分差异难以区分真实能力差距,详细分析即将发布。

来源:AGI Hunt · agihunt.info