跳到正文
AGI Hunt· rahulladumor·· 2 小时前AI 评分69

生产环境 Agent 的首个评测集如何构建

生产环境 Agent 的第一套评测集:用失败工单还是真实对话抽样?

AI 导读

生产环境 Agent 的首个评测集可先从真实失败工单入手,再以校准后的 judge 补充真实对话抽样。方法建议选取最近 20-50 个答错工单,为每个任务编写 should-not 孪生用例,稳定通过后移入回归套件,并注意日志脱敏风险。

来源:AGI Hunt · agihunt.info