如何用 vLLM 在两台 NVIDIA DGX Station 上以 607.8 tok/s 服务 GLM-5.3

NVIDIA 教程用 vLLM 将 GLM-5.3 部署在两台 DGX Station 上，实现 607.8 tok/s 推理。753B 参数的 NVFP4 MoE 模型每 token 激活 40B 参数，TP=2 将权重与计算拆分至两块 GB300 GPU，并通过 OpenAI 兼容 API 提供单一端点。教程还涵盖 RDMA 连接、并发负载测试与关闭流程。