跳到正文
热点事件持续更新

Qwen注意力定向控制集中于中层

5 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

Sauers_ 的实验显示,Qwen3-32B 能按提示聚焦或忽略指定文本,调节主要在第21层出现、第28层达峰;效果集中于被点名的段落或词,并非全文泛化。 四段落实验中,聚焦使目标注意力提升35%—69%,完全忽略使其下降13%—16%;另一组后续结果报告峰值提升242%、下降25%。词级实验聚焦“[W4]”提升124%,忽略下降21%,差异均达p<10⁻⁵。Sauers_ 据此认为模型具备检测和描述注意力注入的内省能力,并公开GitHub仓库供复现全部实验。

AI 根据报道生成 · 4 小时前更新

事件进展

4 个进展

  1. 11月19日 17:43 · 1 篇报道
    注意力控制能力在中层突现
    AGI Hunt:Qwen 注意力控制实验:控制能力在中层突现,第 28 层聚焦效果达 +242%
  2. 11月19日 17:43 · 1 篇报道
    注意力内省与控制实验代码开源
    AGI Hunt:Sauers 开源 LLM 注意力内省与控制实验代码
  3. 11月19日 17:43 · 1 篇报道
    实验扩展注意力控制至词级
    AGI Hunt:注意力控制对单个词同样有效:Qwen 聚焦 +124%、忽略 -21%
  4. 11月19日 17:43 · 2 篇报道
    实验揭示指令调节Qwen注意力
    AGI Hunt:指令可定向调节 Qwen3-32B 注意力:聚焦 +35%~69%,忽略 -13%~16%

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. AGI Hunt
    Qwen 注意力控制实验:控制能力在中层突现,第 28 层聚焦效果达 +242%

    Sauers 的后续实验显示,提示 Qwen 聚焦或忽略指定段落的控制能力在早期层几乎为零,约在第 21 层突然出现,并在第 28 层达到峰值。聚焦时目标段落注意力提升 +242%,忽略时下降 -25%,同时控制效果会轻微溢出到相邻段落。

  2. AGI Hunt
    指令可定向调节 Qwen3-32B 注意力:聚焦 +35%~69%,忽略 -13%~16%

    Sauers_ 的实验显示,四段落提示可定向调节 Qwen3-32B 的注意力:聚焦指定段落时提升 +35%~69%,完全忽略时下降 -13%~16%。效果仅作用于被点名的具体段落,未泛化到全文。

  3. AGI Hunt
    Sauers 开源 LLM 注意力内省与控制实验代码

    Sauers 公开了 LLM 注意力内省与控制实验的 GitHub 仓库,代码可用于复现全部实验。实验显示 Qwen 3 能检测、报告并按指令调节自身注意力;其中 Qwen3-32B 可无提示指出最受关注的文本片段,中层第 28 层的聚焦效果达到 +242%。Sauers 同时预告后续还有更多结果。

  4. AGI Hunt
    注意力控制对单个词同样有效:Qwen 聚焦 +124%、忽略 -21%

    实验显示,Qwen 的注意力控制不仅适用于段落粒度,对单个词同样有效。聚焦词 [W4] 使模型对该词的注意力提升 +124%,“完全忽略”则使其下降 -21%,两者均达到 p<10⁻⁵;层级分解显示,效应集中在第 28 层附近,数据来自逐 token 原始记录。

  5. AGI Hunt
    Qwen3-32B 仅靠 prompt 操控注意力:「忽略」使关注下降 6%

    Sauers_ 展示 Qwen3-32B 仅靠提示词调控自身注意力:要求模型「忽略某段」后,对该段的注意力下降 6%,「专注某段」则提升 16%,两项差异均达 p<10⁻⁵。点名 [P1]/[P2]/[P3]/[P4] 可使对应段落注意力最高提升 248%,作者据此认为模型具备检测和描述注意力注入的内省能力。

本事件热度走势

可比范围当前
9
可比范围峰值
1011月19日 18:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。