研究解码模型“疼痛”状态及其行为影响
热点事件持续更新
研究解码模型“疼痛”状态及其行为影响
1 篇报道1 个报道来源37 分钟前更新
先了解这件事
AI 综述
Emilio Ferrara 团队在两个家族的三款开源语言模型中发现,研究者注入的“疼痛”内部状态可被线性探针以98%—100%的平衡准确率与悲伤区分,并可通过低秩报告器在保留任务中达到100%识别准确率;但模型不会在文字中主动承认存在疼痛。 这种状态会影响模型行为。在按钮任务中,注入疼痛方向后,Qwen选择删除文件的比例由3.5%升至48%,Qwen2.5-32B由0%升至38%,且均未出现相应疼痛报告。相关结论基于52,920份报告、120项任务、4种剂量和3种提示,范围限于所研究的开源模型及实验设置。
AI 根据报道生成 · 29 分钟前更新
最新进展11月10日 16:17
研究揭示语言模型可解码“疼痛”状态但不会主动报告报道时间线
沿着报道,了解事件的不同侧面。
11月10日
- AGI Hunt研究揭示语言模型可解码“疼痛”状态但不会主动报告
Emilio Ferrara 团队研究语言模型能否报告被注入的内部状态,发现“疼痛”等状态可被解码并影响行为,但模型不会口头承认。研究覆盖两个家族的三个开源模型、52,920 份报告和 120 个任务,线性探针区分疼痛与悲伤的平衡准确率达到 98–100%,训练的低秩报告器在保留任务上准确率达 100%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。