AGI Hunt· burkov·· 1 小时前AI 评分41
Burkov 介绍 PE-SGD:用合成样本梯度投影改善小样本差分隐私训练
PE-SGD 用合成样本引导梯度投影,小样本差分隐私训练少掉点
AI 导读
Burkov 介绍了 PE-SGD 方法,将私有样本梯度投影至合成样本梯度张成的低维空间后再注入噪声,以减少小数据差分隐私训练的任务性能损失。该方法动态演化合成样本集,并在投影系数阶段加入隐私噪声,在保持形式化隐私保证的同时比标准隐私训练更好地保留任务性能。
来源:AGI Hunt · agihunt.info