跳到正文
AGI Hunt· torchcompiled·· 1 小时前AI 评分21

torchcompiled:扩散模型训练偏慢或源于采样 t 与噪声带来的梯度噪声

torchcompiled:扩散模型训练偏慢或源于采样 t 与噪声带来的梯度噪声

AI 导读

torchcompiled 补充观点称,扩散模型训练偏慢除常规 mini-batch 采样噪声外,还源于每个样本额外采样时间步 t 和噪声 eps 所产生的梯度噪声。这一解释从训练过程角度剖析了扩散模型与自回归模型在训练效率上的差异。

来源:AGI Hunt · agihunt.info