论文定位大模型受无关文本干扰的“入侵头”
先了解这件事
NVIDIA与多所高校在论文《The Intrusion Pathway》中提出，RAG、工具调用和长上下文中的无关文本会削弱模型对问题的利用，其机制是无关内容经MLP搬运至预测位置后，被少量“入侵头”读取。 在7B级模型的4个任务上，研究人员无需训练便屏蔽约10个注意力头（约占1%），平均挽回57%的干扰损失；利用干净对照确定最佳干预位置的oracle方法可挽回97.6%。论文还称这些入侵头具有跨任务、跨干扰类型的迁移性，但现有效果证据限于上述模型与任务。
AI 根据报道生成 · 48 分钟前更新
事件进展
2 个进展
- 11月10日 12:38 · 2 篇报道论文揭示入侵头干扰机制AGI Hunt：NVIDIA 等论文定位「入侵头」：屏蔽约 10 个注意力头挽回 57% 精度
- 11月10日 12:38 · 1 篇报道论文揭示无关文本干扰机制AGI Hunt：Nvidia 等机构论文解析大模型受无关文本干扰的“入侵通路”
报道时间线
沿着报道，了解事件的不同侧面。
- AGI HuntNVIDIA 论文揭示无关文本损害大模型的「入侵通路」
NVIDIA 与多所高校合作的论文《The Intrusion Pathway》揭示，无关文本会通过削弱问题表征、沿特定「入侵通路」降低语言模型准确率。研究定位出约 10 个关键「入侵头」注意力头，屏蔽后可挽回约 57% 的精度损失，为 RAG、工具调用和长上下文中的噪声干扰提供干预方向。
- AGI HuntNVIDIA 等论文定位「入侵头」：屏蔽约 10 个注意力头挽回 57% 精度
NVIDIA 与多所高校的论文《The Intrusion Pathway》定位了会削弱模型利用问题能力的「入侵头」，指出无关上下文经 MLP 搬运至预测位置后，主要由少量注意力头读取干扰文本。在 7B 级模型的 4 个任务上，无训练地屏蔽约 10 个头（约占 1% 注意力头）平均挽回 57% 的干扰损失，oracle 干预可挽回 97.6%。
- AGI HuntNvidia 等机构论文解析大模型受无关文本干扰的“入侵通路”
Nvidia 等多机构在 arXiv 论文《The Intrusion Pathway》中提出“失效路径”，解释无关 prompt 文本为何会削弱模型对正确答案的支持。关键机制涉及一组稀疏 intrusion heads，它们把前缀干扰写入预测、削弱非前缀贡献，并可跨任务和干扰类型迁移；替换其写入可缓解干扰，为 RAG、工具调用和长上下文应用提供定位参考。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。