NVIDIA 等论文定位「入侵头」：屏蔽约 10 个注意力头挽回 57% 精度

NVIDIA 与多所高校的论文《The Intrusion Pathway》定位了会削弱模型利用问题能力的「入侵头」，指出无关上下文经 MLP 搬运至预测位置后，主要由少量注意力头读取干扰文本。在 7B 级模型的 4 个任务上，无训练地屏蔽约 10 个头（约占 1% 注意力头）平均挽回 57% 的干扰损失，oracle 干预可挽回 97.6%。