三种GPU并行策略及其区别
热点事件持续更新
三种GPU并行策略及其区别
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
SeunghyunSEO7引用 UvA DL Notebooks 教程,梳理数据并行、张量并行和流水线并行三种 GPU 并行策略:数据并行让各卡处理不同 mini-batch 并共享完整模型;张量并行切分模型;流水线并行按网络深度分配权重,由一张卡将 batch 传给下一卡。 其中,流水线并行会因各阶段处理速度不同产生等待空档,即“流水线气泡”。
AI 根据报道生成 · 2 小时前更新
最新进展11月19日 11:30
一张图看懂数据并行、张量并行与流水线并行报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- AGI Hunt一张图看懂数据并行、张量并行与流水线并行
一张图结合 UvA DL Notebooks 教程,讲清数据并行、张量并行与流水线并行三种 GPU 并行策略。数据并行让每张 GPU 处理不同 mini-batch 并共享完整模型,张量并行切分模型本身,流水线并行则按深度将权重分配到多卡,并解释 gpu0 完成一个 batch 后传递给下一卡所形成的流水线气泡。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。