跳到正文
AGI Hunt· remilouf·· 4 小时前AI 评分47

dottxt 实测 API 工具调用性能:最慢达 41 倍

实测工具调用让 API 慢至 32 倍,最差提供商达 41 倍

AI 导读

dottxt 团队实测发现,模型生成工具调用时每 token 的额外耗时显著高于纯文本输出,单个请求最慢至 32 倍,并会拖慢整个批次。配图显示,各提供商最高慢 41 倍,多家处于 12–17 倍区间,表现较好的也增加 10%–77% 开销。dottxt 强调,这会增加 API 提供商的实际服务成本,工具调用质量对用户很重要,但相关延迟代价可能被严重低估。

来源:AGI Hunt · agihunt.info