LibreDB实测揭示工具调用缺陷影响模型排名
热点事件持续更新
LibreDB实测揭示工具调用缺陷影响模型排名
1 篇报道1 个报道来源40 分钟前更新
先了解这件事
AI 综述
LibreDB 团队发布实测研究:在 LibreDB Studio 的数据库 Agent 模式中,39 个本地部署的开源权重模型和 1 个托管对照模型完成 6 类任务,共运行 8,199 次;2,100 次归因失败中,1,590 次发生在调用工具后的运行阶段。 团队补抓工具参数后定位到 5 个服务端缺陷。在不修改模型、提示词或采样设置的情况下,仅修正这 5 处逻辑,就使 6 个模型在 30 格排名中移动 6 至 21 格,表明部分测试差异来自工具调用实现,而非模型本身。
AI 根据报道生成 · 9 分钟前更新
最新进展11月17日 20:06
LibreDB 团队实测 39 个开源模型的数据库 Agent 任务表现报道时间线
沿着报道,了解事件的不同侧面。
11月17日
- AGI HuntLibreDB 团队实测 39 个开源模型的数据库 Agent 任务表现
LibreDB 团队用 39 个开源权重模型和 1 个托管对照模型进行了 11 天、8,199 次数据库 Agent 任务测试。2,100 次归因失败中有 1,590 次发生在调用工具后的运行,占 75.7%;补抓工具参数后发现 5 个服务端缺陷,仅修改这些服务端逻辑便使 6 个模型的排名移动 6 至 21 格。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。