跳到正文
AGI Hunt· Sauers_·· 4 小时前AI 评分37

Qwen 注意力控制实验:控制能力在中层突现,第 28 层聚焦效果达 +242%

注意力控制能力在中层突现,第 28 层聚焦效果达 +242%

AI 导读

Sauers 的后续实验显示,提示 Qwen 聚焦或忽略指定段落的控制能力在早期层几乎为零,约在第 21 层突然出现,并在第 28 层达到峰值。聚焦时目标段落注意力提升 +242%,忽略时下降 -25%,同时控制效果会轻微溢出到相邻段落。

来源:AGI Hunt · agihunt.info