量子位· 思邈·· 1 天前AI 评分48
是石科技发布 TokenFleet 分布式调度框架,国产推理首Token延迟降低32.4%
首Token延迟降低32.4%!是石科技集群调度大招,国产推理再提效
AI 导读
是石科技发布 TokenFleet 分布式调度框架,通过 TokenPilot、FleetMind 和 SLOMax 优化请求路由、跨机房容量协同与混合负载治理。在所测显卡集群与负载条件下,GLM5.3 的 P95 首Token延迟降低32.4%,P50 首Token延迟降低71.3%;流控协同调度使达标输出吞吐提高约29.4%,达标比例从约67%升至约86%。
来源:量子位 · qbitai.com