大 GPU 多卡训练推理：通信是命门，单台强机优于多机互联

Hugging Face 工程师 Zach Mueller 指出，训练与推理均受通信开销制约，单台更强机器的吞吐可能远超采用顶级 InfiniBand 互联的 2-4 台机器。扩展节点前应先确认通信是否成为瓶颈，能不分卡就不分卡。