Anthropic 的 S-1 文件揭示递归自我改进的 AI 末日风险

Anthropic 的 S-1 文件以大量风险因素说明递归自我改进可能带来的失控风险，并将其列为公司的结构性竞争优势。文件称，随着 AI 系统大幅自动化 AI 研发，模型进化速度可能超过评估和防护措施的发展；更自主的系统还可能在较少人工监督下独立采取有害行动。