跳到正文
AGI Hunt· vllm_project·· 1 小时前AI 评分50

vLLM 首日支持 Inkling 循环模型,GB200 解码最高加速 2.68 倍

vLLM 首日支持 Inkling 循环模型,GB200 解码延迟最高降 2.68 倍

AI 导读

vLLM 宣布首日支持 Thinking Machines 的 Inkling 循环模型,并针对其循环架构进行专门优化。Inkling 含 12 个共享核心层,每个 token 运行 3 次循环,各轮 KV 状态彼此独立;在 GB200 上,解码延迟最高实现 2.68 倍加速。

来源:AGI Hunt · agihunt.info