dottxt实测工具调用延迟最高达41倍
热点事件持续更新
dottxt实测工具调用延迟最高达41倍
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
dottxt团队公布API模型工具调用性能实测结果:模型生成工具调用时,每token耗时会高于纯文本输出,图中各提供商最高慢41倍,多家增幅达12—17倍,表现较好的也增加10%—77%开销。 团队称,最严重的单个请求曾慢至32倍,并会拖慢整个批次。这表明工具调用除模型响应质量外,也会带来可能被低估的延迟与服务成本。
AI 根据报道生成 · 3 小时前更新
最新进展11月18日 15:24
dottxt 实测 API 工具调用性能:最慢达 41 倍报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- AGI Huntdottxt 实测 API 工具调用性能:最慢达 41 倍
dottxt 团队实测发现,模型生成工具调用时每 token 的额外耗时显著高于纯文本输出,单个请求最慢至 32 倍,并会拖慢整个批次。配图显示,各提供商最高慢 41 倍,多家处于 12–17 倍区间,表现较好的也增加 10%–77% 开销。dottxt 强调,这会增加 API 提供商的实际服务成本,工具调用质量对用户很重要,但相关延迟代价可能被严重低估。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1011月18日 16:00
- 近 24 小时变化
- –
02.557.510
16:0017:0018:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。