AGI Hunt· vllm_project·· 1 小时前AI 评分57
vLLM 首日支持 Thinking Machines 循环 Inkling 模型
vLLM 首日支持 Thinking Machines 新循环 Inkling 模型
AI 导读
vLLM 宣布对 Thinking Machines 新发布的循环 Inkling 模型提供首日支持。Inkling 包含 12 个共享核心层,每 token 重复运行 3 次,并通过门控在循环之间传递信息;后续帖子列出了具体的 kernel 与延迟优化数据。
来源:AGI Hunt · agihunt.info