DeclineCraft评测迭代式RAG弃答表现
热点事件持续更新
DeclineCraft评测迭代式RAG弃答表现
1 篇报道1 个报道来源31 分钟前更新
先了解这件事
AI 综述
DeclineCraft论文评测27个大语言模型后称，迭代式RAG在40组配置中的30组显著降低CAR，指标平均降幅为46.4%，而答题准确率仅从68.5%升至69.3%；相比之下，混合检索结合查询改写与重排序，提升了全部12个受测模型的CAR。 该基准通过截断Minecraft语料、构造语料中不存在的游戏特性问题，考察模型能否区分检索知识与参数知识的边界并作出弃答。
AI 根据报道生成 · 18 分钟前更新
最新进展11月11日 00:20
DeclineCraft 基准评测显示迭代式 RAG 降低模型诚实率报道时间线
沿着报道，了解事件的不同侧面。
11月11日
- AGI HuntDeclineCraft 基准评测显示迭代式 RAG 降低模型诚实率
DeclineCraft 论文提出动态弃答基准，通过语料截断构造无法回答的问题，并联合评测检索知识与参数知识的边界，共测试 27 个 LLM。迭代式 RAG 在 40 组配置中的 30 组显著降低 CAR，平均为 46.4%，而答题准确率仅从 68.5%升至 69.3%；混合检索配合查询改写与重排序则提升了全部 12 个受测模型的 CAR。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。