跳到正文
热点事件持续更新

LibreDB实测揭示工具调用缺陷影响模型排名

1 篇报道1 个报道来源40 分钟前更新

先了解这件事

AI 综述

LibreDB 团队发布实测研究:在 LibreDB Studio 的数据库 Agent 模式中,39 个本地部署的开源权重模型和 1 个托管对照模型完成 6 类任务,共运行 8,199 次;2,100 次归因失败中,1,590 次发生在调用工具后的运行阶段。 团队补抓工具参数后定位到 5 个服务端缺陷。在不修改模型、提示词或采样设置的情况下,仅修正这 5 处逻辑,就使 6 个模型在 30 格排名中移动 6 至 21 格,表明部分测试差异来自工具调用实现,而非模型本身。

AI 根据报道生成 · 9 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. AGI Hunt
    LibreDB 团队实测 39 个开源模型的数据库 Agent 任务表现

    LibreDB 团队用 39 个开源权重模型和 1 个托管对照模型进行了 11 天、8,199 次数据库 Agent 任务测试。2,100 次归因失败中有 1,590 次发生在调用工具后的运行,占 75.7%;补抓工具参数后发现 5 个服务端缺陷,仅修改这些服务端逻辑便使 6 个模型的排名移动 6 至 21 格。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。