AGI Hunt· LucaAmb·· 2 小时前AI 评分33
扩散模型研究「Purify Before You Align」:先净化再对齐可提升性能
新研究:先净化再对齐,去掉局部相关信息反而提升扩散模型
AI 导读
「Purify Before You Align」研究提出,移除表示中的局部可预测强相关信息后,扩散模型能聚焦较弱的长程相关性,显著改善对齐效果。Sander Dieleman 认为,这与2019年其与 DeepMind 同事提出的层级自回归图像模型思路一脉相承,即先抽象局部细节,再于更抽象的表示上建模。
来源:AGI Hunt · agihunt.info