AGI Hunt· IgorCarron·· 2 小时前AI 评分48
搜索评测转向 Agent 模拟用户,弃用 LLM-as-a-judge
搜索评测转向 Agent 模拟用户,LLM-as-a-judge 被抛弃
AI 导读
Igor Carron 将搜索评测从 LLM-as-a-judge 转向合成流量与 Agent 模拟用户,以会话、点击等行为数据替代 NDCG 等传统相关性指标。新方法先快速复刻客户应用的近似版本,让多个 Agent 在 UI 中完成搜索任务。作者指出,该方案并非替代真人测试,而是更合理地利用 LLM 反馈,并更贴近真实用户与搜索 UI 的交互。
来源:AGI Hunt · agihunt.info