跳到正文
AGI Hunt· No-Peanut-6988·· 3 小时前AI 评分72

Sorami 团队实测 agent 重试未关闭连接导致每任务多耗约 148 tokens

实测:agent 重试不关连接,每任务白烧约 148 tokens

AI 导读

Sorami 团队在自托管 vLLM 0.31.0 上实测发现,agent 重试时仅停止等待而不关闭旧连接,平均每任务会浪费约 148 tokens,按时完成率从 38% 降至 21%。

来源:AGI Hunt · agihunt.info