伯克利 Shreya Shankar 分析数据 Agent 在 DAB 基准中的表现

UC Berkeley 博士 Shreya Shankar 在 dbt 播客中讨论数据 Agent 能否胜任初级数据分析师工作。Data Agent Bench (DAB) 模拟多数据库、脏数据、部落知识和自由文本列等真实环境，最强 Agent 首轮仅通过 61% 的查询，加入语义层后表现显著改善。她还指出，在查看大量输出前难以确定 LLM judge 应执行什么任务。