跳到正文
AGI Hunt· StasBekman·· 3 小时前AI 评分41

DeepSpeed 修复 ZeRO-2 精度 bug,用户应升级到 0.19.8 以上

AI 导读

DeepSpeed 维护者 Stas Bekman 发布 PSA,ZeRO-2 用户应升级到 deepspeed>=0.19.8。当 bf16 模型配置 gradaccumdtype: fp32 且 GAS>1 时,修复后归约梯度分区改用 fp32 存储,每参数节省 2 字节。

来源:AGI Hunt · agihunt.info