AGI Hunt· FerdinandMom·· 1 小时前AI 评分56
HSDP 优化跨节点 LoRA 训练通信,每步耗时减少 40%
跨节点 LoRA 训练慢根因:61GB 模型走 15GB/s TCP,改用 HSDP 提速
AI 导读
作者通过将跨节点 LoRA 训练从 FSDP 改为 HSDP,把 all-gather 保留在 NVLink 域内,每步耗时减少 40%,token 吞吐提升 1.67 倍。测试中,61GB 基座模型参数原本需经过最高约 15GB/s 的 TCP 传输,而调整通信拓扑后仅需修改一处代码。
来源:AGI Hunt · agihunt.info