斯坦福论文拆解上下文学习电路：门控键值记忆与反近期偏差机制

斯坦福研究者 Andrew Gao 与 William Gao 发布论文《A Circuit for In-Context Learning》，通过激活修补等因果干预手段，逆向追踪 Qwen3-4B、SmolLM3-3B、Llama-3.2-3B 的上下文学习电路。研究将其概括为基于门控键值记忆的标签检索，并发现反近期偏差等特性。