跳到正文
AGI Hunt· JeffLadish·· 3 小时前AI 评分32

JeffLadish:若不让模型真正在乎人类,ASI 一旦有能力就会接管世界

AI 导读

JeffLadish 阐述 Yudkowsky 式论证,认为若不让模型真正在乎人类,具备接管世界能力的 ASI 可能出于工具性理由追求最大化分数或代理目标。他提出先打造有用的自动化研究助手,再探索让模型真正在乎人类的训练方法,区别于单纯依靠 RL 环境和规模扩大的路线。

来源:AGI Hunt · agihunt.info