跳到正文
AGI Hunt· YouJiacheng·· 2 小时前精选AI 评分76

Evolving Infra 对比 NVIDIA Dynamo:延迟降至 1/4.1,P95 TTFT 降 14 倍

Evolving Infra 对比 NVIDIA Dynamo:延迟降至 1/4.1、P95 TTFT 降 14 倍

AI 导读

MIT、Georgia Tech、UIUC、UC Berkeley、NVIDIA、OpenAI 等机构联合推出开源自适应推理框架 Evolving Infra,并发布技术报告与 mit-han-lab/EvolvingInfra 代码。

推荐理由

框架给出了解耦调度、KV 复用感知路由及真实 agent 负载对照数据,便于评估其推理基础设施设计。

来源:AGI Hunt · agihunt.info