HyperPod检测并恢复训练静默损坏

AWS介绍了一套在Amazon SageMaker HyperPod上检测并恢复PyTorch DDP训练静默数据损坏的方案，通过非有限梯度、跨节点环形重放差异和权重指纹三项检查定位异常节点，隔离并交由HyperPod替换故障节点，再从告警前检查点恢复训练。 该方案适用于由Amazon EKS编排、至少含三个GPU节点的HyperPod集群；训练任务中的每个副本需独立执行优化器步骤，并能重建任一rank在指定步骤的微批次，例如使用带种子的采样器。检查点需存放在Amazon FSx for Lustre或Amazon S3共享存储中，关联告警还需使用SageMaker HyperPod可观测性附加组件。

AI 根据报道生成 · 50 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。