AGI Hunt· 机器之心·· 1 小时前AI 评分56
奥尔堡大学研究扩散语言模型细粒度采样下的训练数据泄露风险
奥尔堡大学研究:扩散语言模型采样步数越细,训练数据泄露风险升 20 倍
AI 导读
奥尔堡大学团队研究了掩码扩散语言模型的记忆与训练数据提取问题,发现更细的采样步数会显著增加泄露风险。LLaDA-8B 从一步恢复改为逐词恢复后,达到 50% 提取概率门槛的邮箱样本从 9 个增至 179 个,接近 20 倍。团队还提出广义概率提取框架,并指出扩散模型较低泄露水平的结论尚未充分覆盖双向填空和指令微调等场景。
来源:AGI Hunt · agihunt.info