跳到正文
AGI Hunt· vllm_project·· 3 小时前AI 评分63

llm-d 为 Kimi K3.1 Pro 提供 TPU v7x Day-0 分布式推理支持

Kimi K3.1 Pro 上线 TPU:2.8 万亿参数 MoE 获得 Day-0 推理支持

AI 导读

Google 与 Inferact(vLLM)、RadixArk(SGLang)为月之暗面 Kimi K3.1 Pro 提供 TPU v7x Day-0 分布式推理支持,vLLM 团队宣布 llm-d 方案已可用。

来源:AGI Hunt · agihunt.info