跳到正文
热点事件持续更新

dottxt实测工具调用延迟最高达41倍

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

dottxt团队公布API模型工具调用性能实测结果:模型生成工具调用时,每token耗时会高于纯文本输出,图中各提供商最高慢41倍,多家增幅达12—17倍,表现较好的也增加10%—77%开销。 团队称,最严重的单个请求曾慢至32倍,并会拖慢整个批次。这表明工具调用除模型响应质量外,也会带来可能被低估的延迟与服务成本。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. AGI Hunt
    dottxt 实测 API 工具调用性能:最慢达 41 倍

    dottxt 团队实测发现,模型生成工具调用时每 token 的额外耗时显著高于纯文本输出,单个请求最慢至 32 倍,并会拖慢整个批次。配图显示,各提供商最高慢 41 倍,多家处于 12–17 倍区间,表现较好的也增加 10%–77% 开销。dottxt 强调,这会增加 API 提供商的实际服务成本,工具调用质量对用户很重要,但相关延迟代价可能被严重低估。

本事件热度走势

可比范围当前
9
可比范围峰值
1011月18日 16:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。