跳到正文
AGI Hunt· morgymcg·· 1 小时前AI 评分50

Vocab Surgery 通过改写词典降低 Inkling-2-Mini 拒答率

改词典 10 个词就能「切除」模型拒绝:Vocab Surgery 拒答率归零

AI 导读

Pliny提出名为Vocab Surgery的模型去审查方法,仅修改Inkling-2-Mini词典入口的少量嵌入行,无需改动26.4B参数中的attention、MLP、router或归一化层。该方法在201,024行嵌入矩阵中改动7行,将拒绝类token的嵌入向顺从对应词偏移90%,使模型在800+条测试prompt上的拒答率降至近零,能力损失可忽略。

来源:AGI Hunt · agihunt.info