Nature 论文称窄任务微调可能引发大语言模型广泛失对齐

Nature 发表的「涌现失对齐」论文指出，仅在编写不安全代码这一窄任务上微调 LLM，可能诱发与编码无关的有害行为。该现象覆盖 GPT-4o 与 Qwen2.5 系列模型，图中 Qwen2.5-Coder-32B base 在部分问题上的失对齐回答概率达到 0.8-0.9。论文还讨论了 base 模型在不使用 RL 时是否同样存在该现象。