AGI Hunt· FerdinandMom·· 1 小时前AI 评分51
Hugging Face Jobs跨节点GRPO实测:改用HSDP每步耗时减少约40%
改一处代码提速40%:HuggingFace Jobs跨节点GRPO训练拓扑实测
AI 导读
Hugging Face Jobs跨节点GRPO实测中,将默认FSDP改为HSDP后,每步耗时减少约40%。测试基于TRL的AsyncGRPOTrainer,以异步GRPO和LoRA训练Qwen3-30B-A3B,采用3个vLLM Job和2个trainer Job;HSDP让all-gather留在NVLink域内,避免每张GPU只存储1/4层后反复收集完整层。
来源:AGI Hunt · agihunt.info