奥尔堡大学揭示扩散模型泄露风险

丹麦奥尔堡大学团队研究掩码扩散语言模型的记忆与训练数据提取问题，发现将 LLaDA-8B 从一步恢复改为逐词恢复后，达到50%提取概率门槛的邮箱样本由9个增至179个，接近20倍；更细的采样步数会显著增加训练数据泄露风险。 团队提出广义概率提取框架，并指出既有“扩散模型泄露水平较低”的结论尚未充分覆盖双向填空、指令微调等场景，因此不能据此认定其整体泄露风险较低。

AI 根据报道生成 · 25 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。