Hugging Face 工程师称通信是多卡瓶颈，单卡优于多机互联

Hugging Face 工程师 Zach Mueller 表示，训练和推理中的通信开销都是多卡扩展的最大瓶颈，RDMA、PCIe、InfiniBand 等互联方式也难以避免。其建议是，能在单张 GPU 或单台机器上完成的任务不要拆分到多机，单台大 GPU 往往优于多机互联方案。