跳到正文
AGI Hunt· vllm_project·· 1 小时前AI 评分60

vLLM 实现 TML Looped Inkling 模型 Day-0 支持

vLLM 实现 TML 新模型 Day-0 支持,GB200 解码延迟降至 3.84ms

AI 导读

vLLM 项目宣布为 TML 的 Looped Inkling 模型提供 Day-0 支持,服务端集成由 inferact 与 vLLM 社区完成。在 NVIDIA GB200 上,TP1 批量 1 的 decode 延迟由 10.29ms 降至 3.84ms,批量 32 由 16.41ms 降至 7.84ms,每步 kernel 数由 4,278 减至 927。

来源:AGI Hunt · agihunt.info