Evolving Infra 开源面向智能体负载的自适应推理框架
热点事件持续更新
Evolving Infra 开源面向智能体负载的自适应推理框架
1 篇报道1 个报道来源30 分钟前更新
先了解这件事
AI 综述
MIT Han Lab联合Georgia Tech、UIUC、UC Berkeley、NVIDIA、OpenAI等发布并开源Evolving Infra，用于根据智能体负载自适应调整大模型推理服务。 发布方称，在最多256块GB300 GPU上的测试中，其平均端到端延迟较NVIDIA生产级框架Dynamo最多降低4.1倍；该结果限于所述测试规模与对比对象。
AI 根据报道生成 · 14 分钟前更新
报道时间线
沿着报道，了解事件的不同侧面。
11月12日
- AGI HuntMIT Han Lab 等发布 Agent 自适应推理框架 Evolving Infra，延迟较 NVIDIA Dynamo 最多降低 4.1 倍
MIT Han Lab 联合 Georgia Tech、UIUC、UC Berkeley、NVIDIA、OpenAI 等发布并开源 Agent 自适应 LLM 推理服务框架 Evolving Infra。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。