AGI Hunt· wondersky·· 56 分钟前AI 评分48
两台 NVIDIA DGX 用 vLLM 运行 GLM-5.3 服务，吞吐量达 607.8 tok/s
两台 NVIDIA DGX 跑 vLLM,GLM-5.3 服务达 607.8 tok/s
AI 导读
NVIDIA 开发者博客展示了在两台 NVIDIA DGX 工作站上使用 vLLM 多 GPU 服务 GLM-5.3 的实践。通过跨机聚合算力，吞吐量达到 607.8 tok/s，展示了单卡性能不足时的大模型本地服务方案。
来源：AGI Hunt · agihunt.info