IBM 工程师谈可信 AI 评测与 LLM 评审校准

IBM AI 工程师 Tejas Kumar 在 DataTalks.Club 播客中讨论如何构建可信的 AI 评测体系，包括收集评测用例、校准 LLM 评审、刷新数据集和固化严重失败案例。他认为，评测不应只检查 Agent 的最终答案，还应审查执行轨迹，以发现流程隐患；讨论也涵盖评审模型重训、人类偏好样本量和加速评审的方法。节目另附配套代码、demo 与讲稿。