跳到正文
AGI Hunt· UniversityCollegeLondon·· 2 小时前AI 评分52

Δτ-Bench:工具生态持续演化下最强模型任务成功率为42.3%

Δτ-Bench:工具生态持续演化下,最强模型任务成功率仅42.3%

AI 导读

浙江大学与 UCL 团队提出可执行智能体基准 Δτ-Bench,用于评测工具生态持续演化下的任务适应能力。基准包含 1,588 个多轮任务,覆盖 42 个领域与 6 个连续演化状态,最强模型或 harness 的任务成功率为 42.3%。团队同时提出 Steward,通过增量技能维护和动态工具供给管理工具与程序性知识。

来源:AGI Hunt · agihunt.info