MoE预训练通信优化方法发布
热点事件持续更新
MoE预训练通信优化方法发布
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Essential AI研究者Quentin Anthony等发布论文《Expert Coupling in MoE Pretraining》，提出通过相关性专家放置和Token Shuffling减少MoE专家并行层的All-to-All通信。 在每节点配置8张AMD MI300X的EP32集群实验中，top-2和top-6路由的通信操作分别占训练步的45%和60%。将常共同被选中的专家放在同一GPU，并配合每个token每GPU仅分发一次的dispatcher，最多可削减58%的分发行；Token Shuffling则通过在序列并行分片时将token移至目标专家所在GPU，进一步减少跨GPU和跨节点通信。
AI 根据报道生成 · 1 小时前更新
最新进展11月6日 12:21
MoE 预训练 All-to-All 通信新方法：最多削减 58% 分发行报道时间线
沿着报道，了解事件的不同侧面。
11月6日
- AGI HuntMoE 预训练 All-to-All 通信新方法：最多削减 58% 分发行
Quentin Anthony 等提出 MoE 预训练通信优化方法。每节点 8 张 AMD MI300X 的 EP32 集群上，top-2 与 top-6 路由通信分别占训练步 45% 与 60%。相关性专家放置配合单次 dispatcher，最多削减 58% 分发行；Token Shuffling 进一步减少跨 GPU、跨节点通信。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。