AGI Hunt· hwchase17·· 2 小时前AI 评分67
LangChain CEO 建议构建 agent 时先写评测运行器
LangChain CEO 转发:先写 eval runner,再写 agent
AI 导读
LangChain 创始人 Harrison Chase 转发实践建议,构建 AI agent 时应先编写评测运行器,再开发 agent 本身。其团队构建采购到付款流程中的发票查询 agent 时,先定义正确结果,并通过 Ports 接口和 mock adapter 在固定 golden 数据集上持续打分,使 skill、模型或工具变更后的评测结果可复现。
来源:AGI Hunt · agihunt.info