AGI Hunt· YouJiacheng·· 2 小时前精选AI 评分76
Evolving Infra 对比 NVIDIA Dynamo:延迟降至 1/4.1,P95 TTFT 降 14 倍
Evolving Infra 对比 NVIDIA Dynamo:延迟降至 1/4.1、P95 TTFT 降 14 倍
AI 导读
MIT、Georgia Tech、UIUC、UC Berkeley、NVIDIA、OpenAI 等机构联合推出开源自适应推理框架 Evolving Infra,并发布技术报告与 mit-han-lab/EvolvingInfra 代码。
推荐理由
框架给出了解耦调度、KV 复用感知路由及真实 agent 负载对照数据,便于评估其推理基础设施设计。
来源:AGI Hunt · agihunt.info