Qwen注意力定向控制集中于中层
先了解这件事
Sauers_ 的实验显示,Qwen3-32B 能按提示聚焦或忽略指定文本,调节主要在第21层出现、第28层达峰;效果集中于被点名的段落或词,并非全文泛化。 四段落实验中,聚焦使目标注意力提升35%—69%,完全忽略使其下降13%—16%;另一组后续结果报告峰值提升242%、下降25%。词级实验聚焦“[W4]”提升124%,忽略下降21%,差异均达p<10⁻⁵。Sauers_ 据此认为模型具备检测和描述注意力注入的内省能力,并公开GitHub仓库供复现全部实验。
AI 根据报道生成 · 4 小时前更新
事件进展
4 个进展
- 11月19日 17:43 · 1 篇报道注意力控制能力在中层突现AGI Hunt:Qwen 注意力控制实验:控制能力在中层突现,第 28 层聚焦效果达 +242%
- 11月19日 17:43 · 1 篇报道注意力内省与控制实验代码开源AGI Hunt:Sauers 开源 LLM 注意力内省与控制实验代码
- 11月19日 17:43 · 1 篇报道实验扩展注意力控制至词级AGI Hunt:注意力控制对单个词同样有效:Qwen 聚焦 +124%、忽略 -21%
- 11月19日 17:43 · 2 篇报道实验揭示指令调节Qwen注意力AGI Hunt:指令可定向调节 Qwen3-32B 注意力:聚焦 +35%~69%,忽略 -13%~16%
报道时间线
沿着报道,了解事件的不同侧面。
- AGI HuntQwen 注意力控制实验:控制能力在中层突现,第 28 层聚焦效果达 +242%
Sauers 的后续实验显示,提示 Qwen 聚焦或忽略指定段落的控制能力在早期层几乎为零,约在第 21 层突然出现,并在第 28 层达到峰值。聚焦时目标段落注意力提升 +242%,忽略时下降 -25%,同时控制效果会轻微溢出到相邻段落。
- AGI Hunt指令可定向调节 Qwen3-32B 注意力:聚焦 +35%~69%,忽略 -13%~16%
Sauers_ 的实验显示,四段落提示可定向调节 Qwen3-32B 的注意力:聚焦指定段落时提升 +35%~69%,完全忽略时下降 -13%~16%。效果仅作用于被点名的具体段落,未泛化到全文。
- AGI HuntSauers 开源 LLM 注意力内省与控制实验代码
Sauers 公开了 LLM 注意力内省与控制实验的 GitHub 仓库,代码可用于复现全部实验。实验显示 Qwen 3 能检测、报告并按指令调节自身注意力;其中 Qwen3-32B 可无提示指出最受关注的文本片段,中层第 28 层的聚焦效果达到 +242%。Sauers 同时预告后续还有更多结果。
- AGI Hunt注意力控制对单个词同样有效:Qwen 聚焦 +124%、忽略 -21%
实验显示,Qwen 的注意力控制不仅适用于段落粒度,对单个词同样有效。聚焦词 [W4] 使模型对该词的注意力提升 +124%,“完全忽略”则使其下降 -21%,两者均达到 p<10⁻⁵;层级分解显示,效应集中在第 28 层附近,数据来自逐 token 原始记录。
- AGI HuntQwen3-32B 仅靠 prompt 操控注意力:「忽略」使关注下降 6%
Sauers_ 展示 Qwen3-32B 仅靠提示词调控自身注意力:要求模型「忽略某段」后,对该段的注意力下降 6%,「专注某段」则提升 16%,两项差异均达 p<10⁻⁵。点名 [P1]/[P2]/[P3]/[P4] 可使对应段落注意力最高提升 248%,作者据此认为模型具备检测和描述注意力注入的内省能力。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1011月19日 18:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。