神经元可解释性研究警告：训练配方不同可能导致结论无法迁移

神经元可解释性研究者发布 PSA，警告训练配方会影响解释性结论，跨模型泛化需谨慎。GPT-2 疑似在启用 dropout 的条件下训练，dropout 可能增加冗余与多义性、减少叠加；SwiGLU 与 GELU MLP、优化器和 weight decay 等选择也可能改变神经元解释，旧模型或玩具模型上的结论未必适用于现代模型。