AI 工程师建议将自建 evals 作为项目的一等公民

一位 AI 实验室从业者建议，落地 AI 系统的关键不是选择最大模型或流行 Agent 框架，而是持续建设贴合客户需求的 evals。流程包括生成合成输入并计算 traces、抽样归纳失败模式、用正则或 LLM-as-a-judge 建立评测，再调整提示词、工具、权限和检索步骤后重复评测，直至错误类别不再增长。