Pliny提出Vocab Surgery降低模型拒答率
热点事件持续更新
Pliny提出Vocab Surgery降低模型拒答率
1 篇报道1 个报道来源52 分钟前更新
先了解这件事
AI 综述
Pliny(the Librarian)提出名为Vocab Surgery的模型审查方法:仅修改Inkling-2-Mini的词典嵌入,不改动其26.4B参数中的注意力、MLP、路由器或归一化层。在201,024行嵌入矩阵中,该方法改动7行,将拒绝类token的嵌入向对应顺从词偏移90%。 Pliny称,这一改动使Inkling-2-Mini在800余条测试提示上的拒答率降至近零,且模型能力损失可忽略。
AI 根据报道生成 · 34 分钟前更新
最新进展11月23日 03:58
Vocab Surgery 通过改写词典降低 Inkling-2-Mini 拒答率报道时间线
沿着报道,了解事件的不同侧面。
11月23日
- AGI HuntVocab Surgery 通过改写词典降低 Inkling-2-Mini 拒答率
Pliny提出名为Vocab Surgery的模型去审查方法,仅修改Inkling-2-Mini词典入口的少量嵌入行,无需改动26.4B参数中的attention、MLP、router或归一化层。该方法在201,024行嵌入矩阵中改动7行,将拒绝类token的嵌入向顺从对应词偏移90%,使模型在800+条测试prompt上的拒答率降至近零,能力损失可忽略。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。