AGI Hunt· adityagp·· 2 小时前AI 评分45
DAB 基准入选 EMNLP Oral,最强模型 pass@1 仅 38%
AI 导读
Data Agent Benchmark(DAB)将在下周 EMNLP 以 Oral 报告形式亮相,目前已收到 40 多份提交。基准评估 AI agent 跨不同数据库查询、join 和理解数据的能力,覆盖 54 个查询、12 个数据集、9 个领域及 4 种数据库管理系统。当前最强前沿模型 pass@1 仅 38%,为 50 次试验平均值。
来源:AGI Hunt · agihunt.info