MoE 预训练 All-to-All 通信新方法：最多削减 58% 分发行

Quentin Anthony 等提出 MoE 预训练通信优化方法。每节点 8 张 AMD MI300X 的 EP32 集群上，top-2 与 top-6 路由通信分别占训练步 45% 与 60%。相关性专家放置配合单次 dispatcher，最多削减 58% 分发行；Token Shuffling 进一步减少跨 GPU、跨节点通信。