vLLM宣布支持Looped Inkling模型
热点事件持续更新
vLLM宣布支持Looped Inkling模型
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
vLLM项目宣布为Thinking Machines Lab(TML)的Looped Inkling模型提供Day-0支持,服务端集成由inferact与vLLM社区完成,TML提供模型及参考实现。 在NVIDIA GB200、TP1测试中,批量1的decode延迟由10.29毫秒降至3.84毫秒,批量32由16.41毫秒降至7.84毫秒,每步kernel数由4278减至927。相关验证包括MoE输出与参考实现逐位一致、decode与prefill状态一致性、核心算子及多GPU测试,以及serving冒烟测试。
AI 根据报道生成 · 25 分钟前更新
最新进展11月21日 04:14
vLLM 实现 TML Looped Inkling 模型 Day-0 支持报道时间线
沿着报道,了解事件的不同侧面。
11月21日
- AGI HuntvLLM 实现 TML Looped Inkling 模型 Day-0 支持
vLLM 项目宣布为 TML 的 Looped Inkling 模型提供 Day-0 支持,服务端集成由 inferact 与 vLLM 社区完成。在 NVIDIA GB200 上,TP1 批量 1 的 decode 延迟由 10.29ms 降至 3.84ms,批量 32 由 16.41ms 降至 7.84ms,每步 kernel 数由 4,278 减至 927。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。