AGI Hunt· vllm_project·· 3 小时前AI 评分63
llm-d 为 Kimi K3.1 Pro 提供 TPU v7x Day-0 分布式推理支持
Kimi K3.1 Pro 上线 TPU:2.8 万亿参数 MoE 获得 Day-0 推理支持
AI 导读
Google 与 Inferact(vLLM)、RadixArk(SGLang)为月之暗面 Kimi K3.1 Pro 提供 TPU v7x Day-0 分布式推理支持,vLLM 团队宣布 llm-d 方案已可用。
来源:AGI Hunt · agihunt.info