Charles Frye 公开 AI Engineer NYC 主观任务 Agent 评测路线图

Charles Frye 公开了 AI Engineer NYC 演讲视频、幻灯片和配套完整文字指南，系统讲解主观及不可验证任务的 Agent 评测方法。内容涵盖人类评测、质量指南、LLM judge 与 rubrics、人机校准、数据采样、统计工具、A/B 测试、生产监控及 benchmark 持续演进。