AGI Hunt· _reachsumit·· 1 小时前AI 评分40
Jev 相关性概率校准研究:DL21 上高分组仅 66% 真正相关
Jev 相关性概率未校准:DL21 上打分超 0.9 的样本仅 66% 真相关
AI 导读
Shengyao Zhuang 等检验 Jev 的相关性概率与人类判断是否校准,发现其明显过度自信:DL21 上打分高于 0.9 的样本仅 66% 真正相关。仅用 2,257 条 DL19 数据拟合两参数校准,即可显著修正并迁移至 DL21;校准后 Jev 的 Brier 分数低于 FLAN-UL2 与 cross-encoder,提示 RAG 检索决策不应直接信任模型概率。
来源:AGI Hunt · agihunt.info