跳到正文
AGI Hunt· Al_Grigor·· 4 小时前AI 评分60

RAG 评测翻车案例:历史问题重放需还原数据状态

RAG 评测翻车实录:系统没错,eval 却失败了

AI 导读

Alexey Grigorev 分享了 FAQ RAG 系统评测中的反直觉失败案例。历史学生问题在重放时因已进入知识库被正确判为 DUPLICATE,评测框架却将其记为失败;其采用 leave-one-out 评测,先删除该问题当初生成的 FAQ 条目,并用 Cometml Opik 追踪实验。

来源:AGI Hunt · agihunt.info