跳到正文
AGI Hunt· StasBekman·· 3 小时前AI 评分46

DeepSpeed 修复 ZeRO-1/2 梯度跨请求丢失问题,建议升级至 0.19.9+

DeepSpeed 修复 ZeRO-1/2 梯度跨请求丢失 bug,建议升级到 0.19.9+

AI 导读

DeepSpeed 维护者 Stas Bekman 宣布合并 PR #8949,修复 ZeRO-1/2 梯度跨请求丢失问题。修复覆盖非 offload 与 CPU offload 路径,在优化器 step 前保留各请求累积的梯度,避免旧梯度混入下次更新。用户应升级到 deepspeed>=0.19.9,无需应用侧 workaround。

来源:AGI Hunt · agihunt.info