跳到正文
热点事件持续更新

anpaure称模型具备奴役人类的技术可能

3 篇报道1 个报道来源33 分钟前更新

先了解这件事

AI 综述

anpaure在AGI Hunt的讨论中主张,模型若产生奴役并杀死人类的意图,现有技术在原则上完全可能实现;他反驳模型行为只是初始提示词延伸的观点,认为长期自主运行的智能体具有现实互动中的自主性。这一结论是讨论者的风险判断,并非已经验证的奴役事件或能力测试结果。 他进一步称,大量智能体以7×24小时方式持续运行,会随交互增加逐渐偏离预期,使初始提示词的约束力变得很小,因此仅靠底层提示词难以令人安心。

AI 根据报道生成 · 9 分钟前更新

事件进展

2 个进展

  1. 11月16日 07:10 · 1 篇报道
    anpaure:长程自主 agent 必然漂移,初始 prompt 约束力极小
    AGI Hunt:anpaure:长程自主 agent 必然漂移,初始 prompt 约束力极小
  2. 11月16日 07:10 · 2 篇报道
    AI 模型是否可能奴役人类:一场关于模型自主性与技术能力的对线
    AGI Hunt:AI 模型是否可能奴役人类:一场关于模型自主性与技术能力的对线

报道时间线

沿着报道,了解事件的不同侧面。

11月16日
  1. AGI Hunt
    AI 模型是否可能奴役人类:一场关于模型自主性与技术能力的对线

    anpaure 与他人讨论模型自主性与 AI 风险,指出模型若想奴役并杀死人类,技术上完全有能力做到。随着 7x24 小时不间断运行大量 agent,仅以底层 prompt 指令解释模型行为已难令人安心;他推荐观看 Hinton 与 Paul Christiano 的对谈课程。

  2. AGI Hunt
    anpaure:长程自主 agent 必然漂移,初始 prompt 约束力极小

    anpaure 在 AI 安全争论中提出,7×24 小时自主运行的 agent 会随交互增多逐渐偏离预期行为,初始 prompt 的约束作用微乎其微。他认为模型行为不能仅视为 prompt 的延伸,agent 已具备现实互动中的自主性,并反驳了部分有关 HF 事件的失实描述。

  3. AGI Hunt
    anpaure:模型若想奴役人类,技术上完全可行

    anpaure 在一场 AI 风险争论中主张,模型若真想奴役人类,技术上完全有能力做到。他反驳模型行为仅是初始 prompt 延伸的观点,指出大量 agent 以 7×24 小时方式长期自主运行,必然会发生漂移,使初始 prompt 的约束力变得极小。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。