跳到正文
AGI Hunt· brunofmr·· 47 分钟前AI 评分56

DeclineCraft 基准评测显示迭代式 RAG 降低模型诚实率

DeclineCraft 基准:迭代式 RAG 反而显著降低模型「知不知道」的诚实率

AI 导读

DeclineCraft 论文提出动态弃答基准,通过语料截断构造无法回答的问题,并联合评测检索知识与参数知识的边界,共测试 27 个 LLM。迭代式 RAG 在 40 组配置中的 30 组显著降低 CAR,平均为 46.4%,而答题准确率仅从 68.5%升至 69.3%;混合检索配合查询改写与重排序则提升了全部 12 个受测模型的 CAR。

来源:AGI Hunt · agihunt.info