跳到正文
AGI Hunt· burkov·· 2 小时前AI 评分53

新研究解读上下文学习机制为提示词信息门控查表

解读新研究:上下文学习实为对 prompt 内信息的门控查表,而非规则拟合

AI 导读

一项新研究将上下文学习解释为对提示词中存储信息进行门控查表,而非可观察的规则拟合或权重更新。研究在三个 3–4B 参数 base 模型中追踪处理过程,使用仅差一句的受控提示词对,并干预激活与注意力头,以补足此前研究未解释的组件组合机制。

来源:AGI Hunt · agihunt.info