LangChain提出先评测后构建Agent

LangChain创始人Harrison Chase转发了一项AI Agent构建方法：先编写评测运行器、定义正确结果，再开发Agent本身。其团队在构建采购到付款流程中的发票查询Agent时，采用“Evals → Ports → Agent”的顺序，通过小型Python接口连接返回固定数据的mock adapter，使Agent无法区分模拟与真实环境。 在固定golden数据集上持续评分后，每次skill、模型或工具发生变化都可重新打分并复现结果；这一方法用于验证相关变更对Agent表现的影响。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。