Curriculum of Models (CoM)：用 RL 训练“调查员”模型自动挖掘越狱

Anthropic 相关研究员发布新论文 Curriculum of Models (CoM)，提出用强化学习训练“调查员”模型攻击目标 LLM，自动发现越狱漏洞。该方法采用从易到难的课程式训练，先逐步训练一系列中间目标模型，最后再攻击原目标，以缓解拒绝回答导致的奖励信号稀疏问题，帮助开发者在部署前发现模型漏洞。