张量并行下模型初始化结果不一致
热点事件持续更新
张量并行下模型初始化结果不一致
1 篇报道1 个报道来源41 分钟前更新
先了解这件事
AI 综述
PyTorch 核心开发者 Edward Yang 指出,模型采用张量并行后,权重初始化结果可能与单卡运行不一致:TP=1 只需调用一次随机数生成内核,TP=2 则由多个 rank 分别初始化,结果因此不同。 他以 Philox 随机数生成器为例说明,该生成器对硬件细节高度敏感,按 rank 独立推进随机数流无法保证分布式初始化与单卡结果一致。
AI 根据报道生成 · 23 分钟前更新
最新进展11月17日 01:04
PyTorch 张量并行下模型初始化不一致,Philox RNG 成难题报道时间线
沿着报道,了解事件的不同侧面。
11月17日
- AGI HuntPyTorch 张量并行下模型初始化不一致,Philox RNG 成难题
PyTorch 核心开发者 Edward Yang 指出,张量并行下同一模型的权重初始化会因切分方式不同而与 TP=1 结果不一致。TP=1 只需一次 RNG kernel 调用,TP=2 则由多个 rank 分别初始化;Philox 对硬件细节高度敏感,使按 rank 推进 RNG 流的设想无法解决确定性初始化问题。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。