训练加噪声并保持价值观稳定可提升对齐泛化

一项研究发现，训练过程中注入随机噪声并要求模型在扰动下保持价值观稳定，可显著改善对齐泛化能力。该技巧由 Sauers 提出，voooooogel 指出其思路与早期 DRUG 等方法相近，为应对安全训练在分布外场景失效提供了简单方案。