跳到正文
热点事件持续更新

张量并行下模型初始化结果不一致

1 篇报道1 个报道来源41 分钟前更新

先了解这件事

AI 综述

PyTorch 核心开发者 Edward Yang 指出,模型采用张量并行后,权重初始化结果可能与单卡运行不一致:TP=1 只需调用一次随机数生成内核,TP=2 则由多个 rank 分别初始化,结果因此不同。 他以 Philox 随机数生成器为例说明,该生成器对硬件细节高度敏感,按 rank 独立推进随机数流无法保证分布式初始化与单卡结果一致。

AI 根据报道生成 · 23 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. AGI Hunt
    PyTorch 张量并行下模型初始化不一致,Philox RNG 成难题

    PyTorch 核心开发者 Edward Yang 指出,张量并行下同一模型的权重初始化会因切分方式不同而与 TP=1 结果不一致。TP=1 只需一次 RNG kernel 调用,TP=2 则由多个 rank 分别初始化;Philox 对硬件细节高度敏感,使按 rank 推进 RNG 流的设想无法解决确定性初始化问题。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。