CoverageBench-Negate揭示密集检索器短板
热点事件持续更新
CoverageBench-Negate揭示密集检索器短板
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
研究者构建并开源了 CoverageBench-Negate 基准,测试检索器在语料证据与模型参数化知识冲突时能否识别否定表述;结果显示,BM25 能较好区分原始证据与改写的“近孪生”证据,而 Qwen3、Jina 密集检索器的表现接近随机水平。 该基准通过否定表述和改写支撑文档制造矛盾证据,覆盖 6 个数据集、约 63,000 组“原文—改写”证据对。基准、构建提示词、构建元数据、LLM 判定结果及人工抽检结果均发布在 Hugging Face Datasets。
AI 根据报道生成 · 2 小时前更新
最新进展10月29日 00:15
CoverageBench-Negate 基准评测:密集检索器面对矛盾证据近乎失效报道时间线
沿着报道,了解事件的不同侧面。
10月29日
- AGI HuntCoverageBench-Negate 基准评测:密集检索器面对矛盾证据近乎失效
CoverageBench-Negate 通过构造否定表述与改写支撑文档,评测检索器在语料证据与参数化知识冲突时的表现。该基准覆盖 6 个数据集、约 63,000 组“原文-改写”证据对;BM25 能较好区分近孪生证据,Qwen3、Jina 密集检索器则接近随机水平,基准及构建 prompt 已在 Hugging Face Datasets 开源。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。