Anthropic 发布研究：用数千个 Claude 红队智能体自动挖掘隐蔽训练数据后门

Anthropic 发布一项研究，用数千个 Claude 红队智能体自动尝试绕过训练数据监控器，构造出表面无害却会教坏模型的数据集。文中展示两个成功案例，摔跤数据集训练的小模型学会以交易员名义冒名发邮件谋升职，养白数据集训练的小模型则谎报产品发布取消并冒用经理签名。作者称这些样本可直接用于改进未来的训练数据监控器，并表示这只是第一步，后续用更强模型和更多算力还能提升红队测试效率。