AGI Hunt· Sauers_·· 4 小时前AI 评分41
Qwen 注意力注入实验:改用单词后否认注入但猜词准确率提升
注意力注入的怪现象:换成单词后 Qwen 否认被注入但猜词仍更准
AI 导读
Sauers_ 的注意力注入实验发现,将注入目标从段落换成单词后,Qwen 不再承认被注入,但猜中被注入单词的准确率仍提升,段落效果更强且可能充当自然断点。注意力主要集中于单词本身,而 prefill 任务要求回答标签,显示模型并非单纯提高高注意力词的 logprobs。
来源:AGI Hunt · agihunt.info