AI安全研究视野之争:Claude研究与超智能对齐
热点事件持续更新
AI安全研究视野之争:Claude研究与超智能对齐
1 篇报道1 个报道来源35 分钟前更新
先了解这件事
AI 综述
AI安全研究者JacquesThibs借用宫崎骏批评年轻动画创作者的类比,认为年轻研究者若只研究Claude这类大语言模型,容易陷入聚焦“scheming evals”(对模型谋划行为的评估)的局部最优。 他将这种视野与上一代研究者的议题相比,称后者还涉猎Vingean reflection(辛格反思)、本体论危机、AGI Ruin(人工智能失控)等方向,尝试处理超智能系统带来的对齐问题。该报道呈现的是JacquesThibs对研究路线的批评与主张,而非已经证明Claude研究必然导致安全研究落后。
AI 根据报道生成 · 15 分钟前更新
最新进展11月9日 00:46
只研究 Claude 会让 AI 安全研究陷入局部最优报道时间线
沿着报道,了解事件的不同侧面。
11月9日
- AGI Hunt只研究 Claude 会让 AI 安全研究陷入局部最优
JacquesThibs 借用宫崎骏批评年轻动画创作者的类比,批评年轻 AI 安全研究者视野狭窄,认为只研究 Claude 这类 LLM 会收敛于 scheming evals 的局部最优。相较之下,上一代研究者还涉猎 Vingean reflection、本体论危机、AGI Ruin 等议题,试图处理超智能对齐问题。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。