跳到正文
热点事件持续更新

三种GPU并行策略及其区别

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

SeunghyunSEO7引用 UvA DL Notebooks 教程,梳理数据并行、张量并行和流水线并行三种 GPU 并行策略:数据并行让各卡处理不同 mini-batch 并共享完整模型;张量并行切分模型;流水线并行按网络深度分配权重,由一张卡将 batch 传给下一卡。 其中,流水线并行会因各阶段处理速度不同产生等待空档,即“流水线气泡”。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. AGI Hunt
    一张图看懂数据并行、张量并行与流水线并行

    一张图结合 UvA DL Notebooks 教程,讲清数据并行、张量并行与流水线并行三种 GPU 并行策略。数据并行让每张 GPU 处理不同 mini-batch 并共享完整模型,张量并行切分模型本身,流水线并行则按深度将权重分配到多卡,并解释 gpu0 完成一个 batch 后传递给下一卡所形成的流水线气泡。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。