Jev相关性概率校准研究发现模型过度自信

Shengyao Zhuang 等发现，Jev 及 27B pplx-decider 在 DL21 上的相关性概率与人类判断未校准，明显过度自信：Jev 打分高于 0.9 的样本中，实际相关者仅占 66%。不过，两者的排序能力平均优于 FLAN-UL2 和三个 cross-encoder。 研究认为主要问题来自量纲差异，用 2,257 条 DL19 数据拟合两参数校准后即可显著修正，并迁移至 DL21；校准后的 Jev Brier 分数低于 FLAN-UL2 和 cross-encoder，表明 RAG 检索决策不宜直接依赖模型输出的相关性概率。

AI 根据报道生成 · 40 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。