跳到正文
AGI Hunt· Green_Competition_21·· 48 分钟前AI 评分67

LibreDB 团队实测 39 个开源模型的数据库 Agent 任务表现

39 个开源模型跑 11 天数据库 agent:3/4 失败发生在调用了工具的运行

AI 导读

LibreDB 团队用 39 个开源权重模型和 1 个托管对照模型进行了 11 天、8,199 次数据库 Agent 任务测试。2,100 次归因失败中有 1,590 次发生在调用工具后的运行,占 75.7%;补抓工具参数后发现 5 个服务端缺陷,仅修改这些服务端逻辑便使 6 个模型的排名移动 6 至 21 格。

来源:AGI Hunt · agihunt.info