斯坦福论文拆解上下文学习电路：门控键值记忆与反近期偏差机制

斯坦福研究者 Andrew Gao 与 William Gao 在 3-4B 参数 Transformer 上拆解少样本分类的上下文学习（ICL）电路，发现其核心为门控键值记忆。Reader/Query/Copyer 头匹配并读出标签，另有独立头集合抑制最近见过的标签；消融显示，60% 的类别翻转经过 Reader 头，关键头不可被其他信号头替代。