斯坦福拆解上下文学习电路
热点事件持续更新
斯坦福拆解上下文学习电路
2 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
斯坦福研究者 Andrew Gao 与 William Gao 通过激活修补等因果干预，拆解了 Qwen3-4B、SmolLM3-3B 和 Llama-3.2-3B 小型 Transformer 在少样本分类中的上下文学习电路，结论是其核心依赖门控键值记忆：Reader、Query、Copyer 等注意力头负责匹配并读出标签，另有独立注意力头抑制近期出现过的标签。 消融与定向切断实验显示，60%的类别翻转经过 Reader 头，部分关键头无法由其他信号头替代；这些结果说明，模型的相关输出路径具有不可简单替代的专门化分工。
AI 根据报道生成 · 1 小时前更新
最新进展11月5日 10:09
斯坦福论文拆解上下文学习电路：门控键值记忆与反近期偏差机制报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- AGI Hunt斯坦福论文拆解上下文学习电路：门控键值记忆与反近期偏差机制
斯坦福研究者 Andrew Gao 与 William Gao 发布论文《A Circuit for In-Context Learning》，通过激活修补等因果干预手段，逆向追踪 Qwen3-4B、SmolLM3-3B、Llama-3.2-3B 的上下文学习电路。研究将其概括为基于门控键值记忆的标签检索，并发现反近期偏差等特性。
- AGI Hunt斯坦福论文拆解上下文学习电路：门控键值记忆与反近期偏差机制
斯坦福研究者 Andrew Gao 与 William Gao 在 3-4B 参数 Transformer 上拆解少样本分类的上下文学习（ICL）电路，发现其核心为门控键值记忆。Reader/Query/Copyer 头匹配并读出标签，另有独立头集合抑制最近见过的标签；消融显示，60% 的类别翻转经过 Reader 头，关键头不可被其他信号头替代。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。