Nvidia 等机构论文解析大模型受无关文本干扰的“入侵通路”

Nvidia 等多机构在 arXiv 论文《The Intrusion Pathway》中提出“失效路径”，解释无关 prompt 文本为何会削弱模型对正确答案的支持。关键机制涉及一组稀疏 intrusion heads，它们把前缀干扰写入预测、削弱非前缀贡献，并可跨任务和干扰类型迁移；替换其写入可缓解干扰，为 RAG、工具调用和长上下文应用提供定位参考。