Rohan Anil 实测跨洋 25Gbps 双集群训练稀疏 MoE 模型

Rohan Anil 分享了团队以近半个地球相隔、双向 25 Gbps 链路，在两个不同规模和 GPU 类型的集群上训练稀疏 MoE 模型的实践。团队使用 butterfly mixing，让 8 个 learner 两两交换参数，效果与标准训练持平。文章进一步指出，训练算力常分散在大量 neocloud 集群中，前沿学习算法需要与这些碎片化算力协同设计。