跳到正文
AGI Hunt· teortaxesTex·· 58 分钟前AI 评分36

RL 训练模型当「神经元侦探」:重度确认偏误导致实验频频失分

AI 导读

RL 实验让“学生”模型分析神经元激活模式并生成描述,由另一个模型根据新样本预测激活准确度给予奖励。模型出现严重确认偏误,看到 cat token 激活后将全部查询预算用于猫并宣布发现“猫神经元”,最终得分很差;实验还追踪了 -ars 动词结尾,roars、soars 的激活最强达到 5.4。

来源:AGI Hunt · agihunt.info