NVIDIA演示双DGX Station部署GLM-5.3
热点事件持续更新
NVIDIA演示双DGX Station部署GLM-5.3
2 篇报道2 个报道来源44 分钟前更新
先了解这件事
AI 综述
NVIDIA开发者博客演示了用两台DGX Station和vLLM部署GLM-5.3：753B参数模型通过TP=2拆分到两块GB300 GPU，以OpenAI兼容API提供跨节点推理服务，实测吞吐量达607.8 tok/s。教程还包括RDMA连接、请求测试、并发负载评测及关闭流程。 该性能结果仅适用于这套双节点配置。NVIDIA建议正式开放前将端口限制在目标客户端，面向更广泛访问时加入身份验证和TLS。
AI 根据报道生成 · 5 分钟前更新
最新进展11月14日 22:09
如何用 vLLM 在两台 NVIDIA DGX Station 上以 607.8 tok/s 服务 GLM-5.3报道时间线
沿着报道，了解事件的不同侧面。
11月14日
- Hacker News如何用 vLLM 在两台 NVIDIA DGX Station 上以 607.8 tok/s 服务 GLM-5.3
NVIDIA 教程用 vLLM 将 GLM-5.3 部署在两台 DGX Station 上，实现 607.8 tok/s 推理。753B 参数的 NVFP4 MoE 模型每 token 激活 40B 参数，TP=2 将权重与计算拆分至两块 GB300 GPU，并通过 OpenAI 兼容 API 提供单一端点。教程还涵盖 RDMA 连接、并发负载测试与关闭流程。
- AGI Hunt两台 NVIDIA DGX 用 vLLM 运行 GLM-5.3 服务，吞吐量达 607.8 tok/s
NVIDIA 开发者博客展示了在两台 NVIDIA DGX 工作站上使用 vLLM 多 GPU 服务 GLM-5.3 的实践。通过跨机聚合算力，吞吐量达到 607.8 tok/s，展示了单卡性能不足时的大模型本地服务方案。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。