跳到正文
AGI Hunt· shakoistsLog·· 3 小时前AI 评分45

Greenblatt 警告:「神经元语言」推理架构或加剧 AI 对齐风险

Greenblatt 发文警告:「神经元语言」推理架构将大幅加剧 AI 对齐风险

AI 导读

Redwood Research 的 Ryan Greenblatt 等人撰文论证,潜在空间推理架构(latent reasoning,俗称「neuralese」)会加大 AI 对齐风险。极端情况下,多个智能体或直接用潜空间思考与交流,使外部监督难以解读内部推理链条,并令基于思维链的监督与审计方案面临挑战;如何通过嵌入逆映射分析这类潜空间仍待解决。

来源:AGI Hunt · agihunt.info