HSDP使Hugging Face跨节点GRPO单步提速约40%
热点事件持续更新
HSDP使Hugging Face跨节点GRPO单步提速约40%
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Hugging Face Jobs的一项跨节点实测显示,开发者将异步GRPO训练从默认FSDP改为HSDP后,每步耗时减少约40%。测试使用TRL的AsyncGRPOTrainer,以异步GRPO和LoRA训练Qwen3-30B-A3B,部署了3个vLLM Job和2个trainer Job。 据实测,HSDP将all-gather通信保留在NVLink域内,避免FSDP配置下每张GPU仅存储1/4层、计算前反复收集完整层所造成的通信开销,从而显著缩短训练单步耗时。
AI 根据报道生成 · 26 分钟前更新
最新进展11月18日 20:55
Hugging Face Jobs跨节点GRPO实测:改用HSDP每步耗时减少约40%报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- AGI HuntHugging Face Jobs跨节点GRPO实测:改用HSDP每步耗时减少约40%
Hugging Face Jobs跨节点GRPO实测中,将默认FSDP改为HSDP后,每步耗时减少约40%。测试基于TRL的AsyncGRPOTrainer,以异步GRPO和LoRA训练Qwen3-30B-A3B,采用3个vLLM Job和2个trainer Job;HSDP让all-gather留在NVLink域内,避免每张GPU只存储1/4层后反复收集完整层。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。