跳到正文
AGI Hunt· Sauers_·· 4 小时前AI 评分37

注意力控制对单个词同样有效:Qwen 聚焦 +124%、忽略 -21%

注意力控制对单个词同样有效:聚焦 +124%,忽略 -21%

AI 导读

实验显示,Qwen 的注意力控制不仅适用于段落粒度,对单个词同样有效。聚焦词 [W4] 使模型对该词的注意力提升 +124%,“完全忽略”则使其下降 -21%,两者均达到 p<10⁻⁵;层级分解显示,效应集中在第 28 层附近,数据来自逐 token 原始记录。

来源:AGI Hunt · agihunt.info