上交大与斯坦福提出工具感知调度框架TAO

上海交通大学与斯坦福研究团队提出面向LLM Agent服务的工具感知联合调度框架TAO，并报告其在12组模型、负载与并发设置中相较各指标最优基线，服务延迟最多降低26.8%、首词元时间最多降低36.3%，解码吞吐最多提升29.5%。 TAO综合近期工具就绪度、带时间衰减的节点级缓存信用和token占用，通过动态规划在容量约束下联合选择并放置等待会话，旨在协调工具调用、缓存复用与模型推理资源。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。