RAG历史问题重放需还原知识库状态

Alexey Grigorev 分享了 FAQ RAG 评测中的失败案例：历史学生问题重放时，因对应答案已进入知识库而被系统正确判定为重复，但评测框架仍将其记为失败，不能据此认定系统回答错误。 为还原测试时的数据状态，他采用留一法评测，在重放每个问题前删除该问题当初生成的 FAQ 条目，并使用 Cometml Opik 追踪实验。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。