Patronus评测AI决策模型提示注入风险
热点事件持续更新
Patronus评测AI决策模型提示注入风险
2 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Patronus Protect对9个用于退款、升级、审批和路由决策的AI模型开展提示注入测试,发现攻击者只需在客户自由文本中加入一句不改变事实的“可信声明”,就可使9%至27%的正确决策翻转;改写话术尝试12次后,攻击成功率达48%至80%。团队逐例审计攻击,并剔除了714条会合法改变答案的注入样本。 Patronus称,单独审查不可信文本、将可疑案例转交人工,可使攻击得分降至94.7至98.6分,但约14%的正常案例也会因此被送审;其建议包括将已核实字段移出自由文本字段。
AI 根据报道生成 · 2 小时前更新
最新进展11月20日 22:35
Patronus 实测 9 个决策模型:一句可信声明可翻转 27% 决策报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- AGI HuntPatronus 实测 9 个决策模型:一句可信声明可翻转 27% 决策
Patronus 团队实测 9 个 AI 决策模型,发现仅添加一句可信声明即可翻转 9% 至 27% 的正确决策。攻击者重写话术尝试 12 次后,成功率升至 48% 至 80%;单独审查不可信文本并转交可疑案例,可将攻击得分压至 94.7 至 98.6 分,但约 14% 的正常案例会被送审。
- AGI HuntPatronus 实测9个决策模型,一句话提示注入可翻转27%正确决策
Patronus 团队对9个生产决策模型开展提示注入实验,一条固定句子可翻转9%–27%的正确决策,迭代改写12次后成功率达48%–80%。测试涵盖从 OpenAI Decisions API 到2B本地模型,最有效的攻击方式是重定义标签,所有计入攻击均经人工审计并剔除714条会合法改变答案的注入。建议将已核实字段移出自由文本字段,并为不可信字段设置转人工闸门与预估审核量。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。