AGI Hunt· teortaxesTex·· 58 分钟前AI 评分36
RL 训练模型当「神经元侦探」:重度确认偏误导致实验频频失分
AI 导读
RL 实验让“学生”模型分析神经元激活模式并生成描述,由另一个模型根据新样本预测激活准确度给予奖励。模型出现严重确认偏误,看到 cat token 激活后将全部查询预算用于猫并宣布发现“猫神经元”,最终得分很差;实验还追踪了 -ars 动词结尾,roars、soars 的激活最强达到 5.4。
来源:AGI Hunt · agihunt.info