AGI Hunt· ezyang·· 48 分钟前AI 评分38
PyTorch 张量并行下模型初始化不一致,Philox RNG 成难题
张量并行下模型初始化不一致,Philox RNG 成难题
AI 导读
PyTorch 核心开发者 Edward Yang 指出,张量并行下同一模型的权重初始化会因切分方式不同而与 TP=1 结果不一致。TP=1 只需一次 RNG kernel 调用,TP=2 则由多个 rank 分别初始化;Philox 对硬件细节高度敏感,使按 rank 推进 RNG 流的设想无法解决确定性初始化问题。
来源:AGI Hunt · agihunt.info