跳到正文
AGI Hunt· LucaAmb·· 2 小时前AI 评分33

扩散模型研究「Purify Before You Align」:先净化再对齐可提升性能

新研究:先净化再对齐,去掉局部相关信息反而提升扩散模型

AI 导读

「Purify Before You Align」研究提出,移除表示中的局部可预测强相关信息后,扩散模型能聚焦较弱的长程相关性,显著改善对齐效果。Sander Dieleman 认为,这与2019年其与 DeepMind 同事提出的层级自回归图像模型思路一脉相承,即先抽象局部细节,再于更抽象的表示上建模。

来源:AGI Hunt · agihunt.info