上交大与斯坦福提出 TAO 工具感知调度框架，Agent 服务延迟最多降低 26.8%

上海交大联合斯坦福提出 TAO，一种面向 LLM Agent 服务的工具感知联合调度框架。它结合工具就绪度、节点级缓存信用与 token 占用，用动态规划联合选择并放置等待会话。在 12 组设置中，相比各指标最优基线，延迟最多降 26.8%，TTFT 最多降 36.3%，解码吞吐最多提升 29.5%。