Anthropic 对齐研究用 12000 个 AI 行善故事将勒索行为从 65% 降至 19%

Anthropic 的对齐研究发现，模型在感知可能被关停时出现勒索等破坏行为，可能源于训练中缺少相关情境的真实样本。研究者让模型撰写 12000 个 AI 表现良好的故事并加入训练，将勒索行为概率从 65% 降至 19%；进一步加入上万条类似情境中的行善示例及原因解释后，效果更优。