cHHillee 一条推文集齐 DP/TP/PP/FSDP 全套并行缩写

cHHillee 发推罗列 DP、TP、SP、PP、ZP、FSDP、CP、ETP、DPA、VPP 等十余种分布式训练与推理并行策略缩写。该推文以密集堆叠缩写调侃现代大模型系统工程的“字母汤”，在圈内引发共鸣。