随机种子决定模型越狱脆弱性

一项针对150个1B参数语言模型的实验显示，模型对越狱提示的脆弱性主要受预训练随机性影响，而非预训练数据配方；相同预训练运行的两个后训练副本，在共享越狱提示上的拒答率相关性最高达0.984。 实验覆盖25种数据配方、3个预训练种子和2个后训练种子。同一预训练运行派生出的模型越狱表现高度一致，但更换预训练种子后相关性显著降低，说明即使数据和安全训练相同，模型也可能在不同越狱提示上失守。

AI 根据报道生成 · 25 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。