多卡≠用得好：分布式训练GPU监控与故障恢复实践

这篇分布式训练实践帖指出，拥有 8/16 张 GPU 并不等于高效利用，部分 GPU 可能闲置且通信开销盖过计算。建议持续跟踪 GPU 利用率、显存、通信时间、吞吐与训练性能，并使用 NVIDIA 开源的 DCGM 进行遥测和健康检查；集群规模扩大后，还应配置 checkpoint 与恢复机制，以降低单卡故障或网络中断造成的进度损失。