leogao反驳神经元可解释性已解决

LessWrong作者leogao撰文反驳“神经元可解释性已解决”的判断，称即使神经元激活样本与人类可理解的特征高度匹配，也不能证明真实触发机制已被正确解释，更不意味着人们已理解神经元的大部分行为。 他部分认可Nick Cammarata关于部分神经元多义性被高估的观点，但认为深入观察发现的简单模式不足以支持可解释性已经解决。leogao还指出，禁用小激活神经元会显著降低模型性能；要进一步确认解释正确，还需按既定评分标准模拟替换神经元激活，再检验这种替换是否对模型造成相应损害。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。