是石科技发布TokenFleet调度框架

是石科技发布 TokenFleet 分布式调度框架，通过 TokenPilot、FleetMind 和 SLOMax 优化请求路由、跨机房容量协同及混合负载治理。在所测显卡集群与负载条件下，GLM5.3 的 P95 首Token延迟降低32.4%、P50 首Token延迟降低71.3%，达标输出吞吐提高约29.4%，达标比例由约67%升至约86%。 TokenPilot 与 SLOMax 用于现有集群，FleetMind 用于后续新增算力机房扩展。上述数据为收益测算，实际效果仍需结合具体负载与服务门槛验证。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。