扩散模型信息论缩放律可预测记忆化

Yi Ma等研究团队提出扩散模型的信息论缩放律，用模型从训练数据中学到的信息量预测生成表现。研究称，当模型对训练集的信息依赖超过阈值后，生成样本会开始复现训练数据，即出现记忆化；模型学到的信息量与FID等生成质量指标之间也存在可预测的缩放关系。 这项结果把扩散模型的记忆化与生成质量纳入同一信息论框架，为判断模型何时开始复制训练数据，以及评估训练缩放效果提供了量化依据。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。