训练时加噪声并要求价值观保持稳定，可提升大语言模型对齐泛化

训练阶段加入随机噪声，并要求模型在扰动下保持价值观稳定，能够显著改善大语言模型的对齐泛化能力。该方法为降低安全训练在分布外场景中的失效风险提供了简单思路。