AI工程师分享系统评测迭代流程

AI工程师 paulabartabajo_ 分享了一套落地AI系统的评测迭代方法：先构建客户期望的首个可用版本，再持续评测和改进，直至错误类别不再增长。 具体做法是生成合成输入并计算输出轨迹，抽样归纳主要失败模式，随后用正则或 LLM-as-a-judge 建立评测；他建议据此调整提示词、工具、权限和检索步骤，再重新评测并循环。其核心观点是，应把贴合客户需求的 evals 作为项目的一等公民，而非仅依赖更大模型或流行 Agent 框架。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。