跳到正文
热点事件持续更新

HSDP优化跨节点LoRA训练通信

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

FerdinandMom将跨节点LoRA训练从FSDP改为HSDP,把all-gather通信保留在NVLink域内;据其测试,修改一处代码后,每步耗时减少40%,token吞吐提升1.67倍。 性能瓶颈来自默认FSDP的分片方式:每卡只保存每层参数的1/4,计算前仍需all-gather完整层,而跨Job仅有TCP互联,实测带宽最高约15GB/s,61GB基座模型参数需经此传输。改用HSDP后,跨节点通信压力降低。

AI 根据报道生成 · 40 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. AGI Hunt
    HSDP 优化跨节点 LoRA 训练通信,每步耗时减少 40%

    作者通过将跨节点 LoRA 训练从 FSDP 改为 HSDP,把 all-gather 保留在 NVLink 域内,每步耗时减少 40%,token 吞吐提升 1.67 倍。测试中,61GB 基座模型参数原本需经过最高约 15GB/s 的 TCP 传输,而调整通信拓扑后仅需修改一处代码。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。