上下文学习被解释为门控查表

研究者Andriy Burkov将上下文学习机制解读为对提示词中已存信息进行“门控查表”，而非可观察的规则拟合或权重更新。研究在三个规模为30亿至40亿参数的base模型中追踪处理过程，并用仅相差一句的受控提示词进行对比。 为补足此前机制解释中的缺口，研究还干预了模型激活和注意力头，以识别组件如何协同完成信息检索。该结论目前建立在上述三个模型及受控实验范围内。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。