AI 产品错误分析与 eval 指标选择方法

Pawel Huryn 分享了从 LLM traces 出发识别领域特定失败模式，再据此构建自动化 eval 的评估方法。流程包括新增 traces、开放式编码、聚类失败模式和重新标注，经验值约需 100 条高质量多样化 traces；评估器可使用代码型确定性检查或 LLM-as-a-judge，关键指标包括 TPR 和 TNR。