跳到正文
AGI Hunt· anand_bhattad·· 1 小时前AI 评分33

蒸馏扩散模型多样性坍缩修复研究:利用 PCA 投影与早期去噪轻量微调

研究提出用 PCA 投影修复蒸馏扩散模型的多样性坍缩

AI 导读

研究提出利用 PCA 投影将多样性坍缩的主方向投影回教师模型空间,以修复蒸馏扩散模型丢失的多样性。对早期去噪步骤进行轻量微调后,模型多样性可进一步恢复,该方案延续了“探测模型、找到失败结构、再用该结构改进模型”的研究闭环。

来源:AGI Hunt · agihunt.info