跳到正文
AGI Hunt· ezyang·· 48 分钟前AI 评分38

PyTorch 张量并行下模型初始化不一致,Philox RNG 成难题

张量并行下模型初始化不一致,Philox RNG 成难题

AI 导读

PyTorch 核心开发者 Edward Yang 指出,张量并行下同一模型的权重初始化会因切分方式不同而与 TP=1 结果不一致。TP=1 只需一次 RNG kernel 调用,TP=2 则由多个 rank 分别初始化;Philox 对硬件细节高度敏感,使按 rank 推进 RNG 流的设想无法解决确定性初始化问题。

来源:AGI Hunt · agihunt.info