跳到正文
热点事件持续更新

AI安全研究视野之争:Claude研究与超智能对齐

1 篇报道1 个报道来源35 分钟前更新

先了解这件事

AI 综述

AI安全研究者JacquesThibs借用宫崎骏批评年轻动画创作者的类比,认为年轻研究者若只研究Claude这类大语言模型,容易陷入聚焦“scheming evals”(对模型谋划行为的评估)的局部最优。 他将这种视野与上一代研究者的议题相比,称后者还涉猎Vingean reflection(辛格反思)、本体论危机、AGI Ruin(人工智能失控)等方向,尝试处理超智能系统带来的对齐问题。该报道呈现的是JacquesThibs对研究路线的批评与主张,而非已经证明Claude研究必然导致安全研究落后。

AI 根据报道生成 · 15 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月9日
  1. AGI Hunt
    只研究 Claude 会让 AI 安全研究陷入局部最优

    JacquesThibs 借用宫崎骏批评年轻动画创作者的类比,批评年轻 AI 安全研究者视野狭窄,认为只研究 Claude 这类 LLM 会收敛于 scheming evals 的局部最优。相较之下,上一代研究者还涉猎 Vingean reflection、本体论危机、AGI Ruin 等议题,试图处理超智能对齐问题。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。