AGI Hunt· SeunghyunSEO7·· 2 小时前AI 评分36
一张图看懂数据并行、张量并行与流水线并行
一图看懂数据并行、张量并行与流水线并行
AI 导读
一张图结合 UvA DL Notebooks 教程,讲清数据并行、张量并行与流水线并行三种 GPU 并行策略。数据并行让每张 GPU 处理不同 mini-batch 并共享完整模型,张量并行切分模型本身,流水线并行则按深度将权重分配到多卡,并解释 gpu0 完成一个 batch 后传递给下一卡所形成的流水线气泡。
来源:AGI Hunt · agihunt.info