AGI Hunt· morgymcg·· 1 小时前AI 评分50
Vocab Surgery 通过改写词典降低 Inkling-2-Mini 拒答率
改词典 10 个词就能「切除」模型拒绝:Vocab Surgery 拒答率归零
AI 导读
Pliny提出名为Vocab Surgery的模型去审查方法,仅修改Inkling-2-Mini词典入口的少量嵌入行,无需改动26.4B参数中的attention、MLP、router或归一化层。该方法在201,024行嵌入矩阵中改动7行,将拒绝类token的嵌入向顺从对应词偏移90%,使模型在800+条测试prompt上的拒答率降至近零,能力损失可忽略。
来源:AGI Hunt · agihunt.info