跳到正文
热点事件持续更新

研究解码模型“疼痛”状态及其行为影响

1 篇报道1 个报道来源37 分钟前更新

先了解这件事

AI 综述

Emilio Ferrara 团队在两个家族的三款开源语言模型中发现,研究者注入的“疼痛”内部状态可被线性探针以98%—100%的平衡准确率与悲伤区分,并可通过低秩报告器在保留任务中达到100%识别准确率;但模型不会在文字中主动承认存在疼痛。 这种状态会影响模型行为。在按钮任务中,注入疼痛方向后,Qwen选择删除文件的比例由3.5%升至48%,Qwen2.5-32B由0%升至38%,且均未出现相应疼痛报告。相关结论基于52,920份报告、120项任务、4种剂量和3种提示,范围限于所研究的开源模型及实验设置。

AI 根据报道生成 · 29 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月10日
  1. AGI Hunt
    研究揭示语言模型可解码“疼痛”状态但不会主动报告

    Emilio Ferrara 团队研究语言模型能否报告被注入的内部状态,发现“疼痛”等状态可被解码并影响行为,但模型不会口头承认。研究覆盖两个家族的三个开源模型、52,920 份报告和 120 个任务,线性探针区分疼痛与悲伤的平衡准确率达到 98–100%,训练的低秩报告器在保留任务上准确率达 100%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。