跳到正文
热点事件持续更新

HSDP使Hugging Face跨节点GRPO单步提速约40%

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Hugging Face Jobs的一项跨节点实测显示,开发者将异步GRPO训练从默认FSDP改为HSDP后,每步耗时减少约40%。测试使用TRL的AsyncGRPOTrainer,以异步GRPO和LoRA训练Qwen3-30B-A3B,部署了3个vLLM Job和2个trainer Job。 据实测,HSDP将all-gather通信保留在NVLink域内,避免FSDP配置下每张GPU仅存储1/4层、计算前反复收集完整层所造成的通信开销,从而显著缩短训练单步耗时。

AI 根据报道生成 · 26 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. AGI Hunt
    Hugging Face Jobs跨节点GRPO实测:改用HSDP每步耗时减少约40%

    Hugging Face Jobs跨节点GRPO实测中,将默认FSDP改为HSDP后,每步耗时减少约40%。测试基于TRL的AsyncGRPOTrainer,以异步GRPO和LoRA训练Qwen3-30B-A3B,采用3个vLLM Job和2个trainer Job;HSDP让all-gather留在NVLink域内,避免每张GPU只存储1/4层后反复收集完整层。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。