DAB基准入选EMNLP Oral
热点事件持续更新
DAB基准入选EMNLP Oral
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Data Agent Benchmark（DAB）团队入选 EMNLP Oral，将在下周以口头报告形式展示该基准。目前已收到40多份提交，基准用于评估 AI agent 跨数据库查询、join 和理解数据的能力，覆盖54个查询、12个数据集、9个领域及4种数据库管理系统。 报道称，当前表现最强的前沿模型在 DAB 上的 pass@1 仅为38%，该结果为50次试验的平均值。
AI 根据报道生成 · 1 小时前更新
最新进展10月24日 00:03
DAB 基准入选 EMNLP Oral，最强模型 pass@1 仅 38%报道时间线
沿着报道，了解事件的不同侧面。
10月24日
- AGI HuntDAB 基准入选 EMNLP Oral，最强模型 pass@1 仅 38%
Data Agent Benchmark（DAB）将在下周 EMNLP 以 Oral 报告形式亮相，目前已收到 40 多份提交。基准评估 AI agent 跨不同数据库查询、join 和理解数据的能力，覆盖 54 个查询、12 个数据集、9 个领域及 4 种数据库管理系统。当前最强前沿模型 pass@1 仅 38%，为 50 次试验平均值。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。