AGI Hunt· burny_tech·· 3 小时前AI 评分43
研究者对 Mamba 开展神经元级可解释性分析,定位单词触发机制
研究者窥探 Mamba 神经元:可定位并放大单个词的触发机制
AI 导读
研究者对选择性状态空间模型 Mamba 进行神经元级可解释性分析,并借助 steering 工具定位与特定词触发相关的神经元。第 30 层 815 号神经元会在「from」一词前的 token 上激活,held-out 检测准确率为 0.85;将干预强度放大至 20 倍会劫持模型输出,过强还会使流畅度归零。
来源:AGI Hunt · agihunt.info