伯克利等提出信息论缩放律：预测扩散模型记忆化与 FID

伯克利等团队与 Yi Ma 等合作提出扩散模型信息论缩放律，通过量化模型从训练数据中学到的信息量，预测记忆化何时开始。当模型对训练集的信息依赖超过阈值时，生成样本将开始复现训练数据；FID 等生成质量指标与信息量之间的关系也呈现可预测的 scaling law。