AGI Hunt· StasBekman·· 3 小时前AI 评分46
DeepSpeed 修复 ZeRO-1/2 梯度跨请求丢失问题,建议升级至 0.19.9+
DeepSpeed 修复 ZeRO-1/2 梯度跨请求丢失 bug,建议升级到 0.19.9+
AI 导读
DeepSpeed 维护者 Stas Bekman 宣布合并 PR #8949,修复 ZeRO-1/2 梯度跨请求丢失问题。修复覆盖非 offload 与 CPU offload 路径,在优化器 step 前保留各请求累积的梯度,避免旧梯度混入下次更新。用户应升级到 deepspeed>=0.19.9,无需应用侧 workaround。
来源:AGI Hunt · agihunt.info