AWS Machine Learning Blog· Siddharth Senger·· 4 小时前AI 评分72
Amazon SageMaker HyperPod 检测并恢复静默数据损坏
Detecting and recovering from silent data corruption on Amazon SageMaker HyperPod
AI 导读
AWS 介绍在 PyTorch DDP 训练循环中检测静默数据损坏并将故障节点交给 Amazon SageMaker HyperPod 替换的方法。三项检查分别覆盖非有限梯度、跨节点重放结果差异和权重指纹异常，检测后可定位节点、隔离故障并从告警前的检查点恢复。
来源：AWS Machine Learning Blog · aws.amazon.com