后训练模型呈现不同神经元激活模式

AI 研究员 Sauers_ 发布 Chat 模型与 Base 模型的可解释性对比图，称两者在 8 个角色回复测试中的神经元激活存在差异：所谓“AI 研究员”神经元在 Base 模型中为 0/8 激活，而“mother”神经元在 Chat 模型和 Base 模型中分别为 5/8、4/8 激活。 作者据此调侃，这种概念表征可能是 RLHF 等后训练过程催生的，但该说法属于其解读，并非已被验证的因果结论。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。