从 100 条生产 traces 起步：七步搭建贴合真实故障的 AI evals

Hamel Husain 与 Shreya Shankar 的 AI Evals FAQ 提出，在没有测试集但有 traces 时，可先拉取最近 100 条生产环境 traces，通读并记录问题。归类统计后，为前三类故障编写 pass/fail 检查，再与人工标注对比，并把新故障持续加入数据集。FAQ 还覆盖最小可行 eval 设置、预算分配、主观或多步输出评估及成本控制。