Chat 模型与 Base 模型可解释性对比：“AI 研究员神经元”仅见于后训练

一张可解释性对比图比较 Chat 模型与 Base 模型的神经元激活差异。在 8 个角色回复测试中，“AI 研究员”神经元在 Base 模型中为 0/8 激活，而“mother”神经元分别为 5/8 和 4/8。作者调侃称，这一表征可能是 RLHF 等后训练催生的产物。