跳到正文
热点事件持续更新

Pliny提出Vocab Surgery降低模型拒答率

1 篇报道1 个报道来源52 分钟前更新

先了解这件事

AI 综述

Pliny(the Librarian)提出名为Vocab Surgery的模型审查方法:仅修改Inkling-2-Mini的词典嵌入,不改动其26.4B参数中的注意力、MLP、路由器或归一化层。在201,024行嵌入矩阵中,该方法改动7行,将拒绝类token的嵌入向对应顺从词偏移90%。 Pliny称,这一改动使Inkling-2-Mini在800余条测试提示上的拒答率降至近零,且模型能力损失可忽略。

AI 根据报道生成 · 34 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月23日
  1. AGI Hunt
    Vocab Surgery 通过改写词典降低 Inkling-2-Mini 拒答率

    Pliny提出名为Vocab Surgery的模型去审查方法,仅修改Inkling-2-Mini词典入口的少量嵌入行,无需改动26.4B参数中的attention、MLP、router或归一化层。该方法在201,024行嵌入矩阵中改动7行,将拒绝类token的嵌入向顺从对应词偏移90%,使模型在800+条测试prompt上的拒答率降至近零,能力损失可忽略。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。