跳到正文
AGI Hunt· _reachsumit·· 3 小时前AI 评分40

FondueQA 基准:测 LLM 在检索证据缺失时能否用参数记忆补位

FondueQA 基准:测 LLM 在检索证据缺失时能否用参数记忆补位

AI 导读

新基准 FondueQA 研究 LLM 的“参数补偿”,通过让每个多跳问答事实唯一对应一篇指定证据文档,考察检索不完整时模型能否利用权重中的内部知识补齐缺失事实。实证显示,补偿效果依赖实体热度与缺失证据的结构角色;模型对热门实体补位更成功,桥接证据有时比含答案文档更有用。模型虽能孤立回忆缺失事实,却可能在特定证据情境下无法调用,尤其容易受似是而非的干扰项影响。

来源:AGI Hunt · agihunt.info