从生产 traces 起步构建 AI 评测集

Hamel Husain 与 Shreya Shankar 在 AI Evals FAQ 中提出，在尚无测试集但已有生产 traces 时，可先读取最近 100 条生产环境记录，用通俗语言记下每条暴露的问题，再将问题归类并统计数量，选取出现最多的三类编写 pass/fail 检查。 这些检查的结果需要与人工标注进行对比，之后每发现一种新故障，就将其补充进评测数据集。该 FAQ 还讨论了最小可行评测设置、预算分配、主观或多步输出的评估以及成本控制。

AI 根据报道生成 · 55 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。