Agent重试未关旧连接造成Token浪费

Sorami团队实测发现，Agent请求超时后若只停止等待、直接重试而不关闭旧连接，模型仍会继续生成并消耗Token：在自托管vLLM 0.31.0、1.5秒超时并重试一次的条件下，每任务平均多耗约148个Token，按时完成率由38%降至21%；若持续不关闭旧连接，完成率进一步降至11%。 团队建议通过AbortController中止、关闭响应或取消任务来真正终止废弃请求。该测试仅覆盖vLLM、SGLang在L4/A10G上的两个模型，尚未验证llama.cpp、Ollama、TGI及托管API。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。