ReSeed用首步偏置恢复蒸馏多样性
热点事件持续更新
ReSeed用首步偏置恢复蒸馏多样性
3 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
ReSeed论文作者提出，在冻结学生扩散模型的首个去噪步骤加入轻量偏置适配器，以教师模型在相同提示词和初始噪声下的目标速度监督训练，并在推理时关闭偏置；论文称，该方法能缓解蒸馏造成的输出趋同、恢复生成多样性。 可训练参数仅占模型的0.002%—0.004%，不增加采样步数，推理时无需调用教师模型，适用于图像和视频扩散模型。论文报告称，DMD+ReSeed在4次函数评估下生成的样本趋同明显缓解，多样性接近需80步采样的原始SD3.5-M，成本几乎不增加。
AI 根据报道生成 · 1 小时前更新
最新进展11月5日 03:59
ReSeed：仅训练第一步偏差，恢复蒸馏扩散模型丢失的多样性报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- AGI HuntReSeed：仅训练第一步偏差，恢复蒸馏扩散模型丢失的多样性
ReSeed 提出通过仅训练首个去噪步的偏差适配器，恢复蒸馏扩散模型丢失的多样性。该方法冻结学生模型，以教师模型在同一 prompt 与初始噪声下的目标速度监督训练，之后关闭 bias；可训练参数仅占 0.002–0.004%，不增加采样步数，推理时无需调用教师，适用于图像与视频扩散模型，如 SD3.5-Medium。
- AGI HuntReSeed 论文：为去噪首步训练小偏置集，恢复扩散模型蒸馏丢失的多样性
Tang 等人的 ReSeed 论文提出，仅为去噪早期步骤（如第 1 步）训练一小集偏置项，即可恢复蒸馏扩散模型丢失的多样性。DMD+ReSeed 在 4 NFEs 下生成的样本趋同现象明显缓解，多样性接近需 80 步采样的原始 SD3.5-M，且几乎不增加成本。
- AGI HuntReSeed 论文：用首步小偏置恢复蒸馏扩散模型丢失的多样性
Tang 等人的 ReSeed 论文提出，仅在去噪第一步加入可训练的小偏置集合，即可恢复扩散模型蒸馏过程中丢失的生成多样性。该方法只需训练第一步偏差，改动小、开销低，为解决蒸馏扩散模型多样性退化问题提供了新思路。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。