跳到正文
AGI Hunt· Sauers_·· 4 小时前AI 评分41

Qwen 注意力注入实验:改用单词后否认注入但猜词准确率提升

注意力注入的怪现象:换成单词后 Qwen 否认被注入但猜词仍更准

AI 导读

Sauers_ 的注意力注入实验发现,将注入目标从段落换成单词后,Qwen 不再承认被注入,但猜中被注入单词的准确率仍提升,段落效果更强且可能充当自然断点。注意力主要集中于单词本身,而 prefill 任务要求回答标签,显示模型并非单纯提高高注意力词的 logprobs。

来源:AGI Hunt · agihunt.info