跳到正文
热点事件持续更新

vLLM宣布支持Looped Inkling模型

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

vLLM项目宣布为Thinking Machines Lab(TML)的Looped Inkling模型提供Day-0支持,服务端集成由inferact与vLLM社区完成,TML提供模型及参考实现。 在NVIDIA GB200、TP1测试中,批量1的decode延迟由10.29毫秒降至3.84毫秒,批量32由16.41毫秒降至7.84毫秒,每步kernel数由4278减至927。相关验证包括MoE输出与参考实现逐位一致、decode与prefill状态一致性、核心算子及多GPU测试,以及serving冒烟测试。

AI 根据报道生成 · 25 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月21日
  1. AGI Hunt
    vLLM 实现 TML Looped Inkling 模型 Day-0 支持

    vLLM 项目宣布为 TML 的 Looped Inkling 模型提供 Day-0 支持,服务端集成由 inferact 与 vLLM 社区完成。在 NVIDIA GB200 上,TP1 批量 1 的 decode 延迟由 10.29ms 降至 3.84ms,批量 32 由 16.41ms 降至 7.84ms,每步 kernel 数由 4,278 减至 927。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。