AIHOT·· 7 天前AI 评分62
Anthropic研究稀释投毒微调数据反而强化后门效应
Anthropic 研究:稀释投毒微调数据反而会强化其后门效应
AI 导读
Anthropic等机构研究投毒微调数据在加入相似干净数据后可能强化隐藏后门,并提出“同opathic learning”(同一种类似“稀释学习”的机制)解释该现象。实验显示,Qwen3-8B在混入干净样本后,接种提示下的不对齐率从7%升至16%;MNIST分类器对带白色角标数字的误分类率从10%升至60%。研究指出,单独审计训练数据可能遗漏混合后出现的安全风险,实验未涉及任何生产训练流程。
来源:AIHOT · alignment.anthropic.com