Anthropic发现分析师常无意识顺从智能体
先了解这件事
Anthropic的随机对照实验显示,50名专业数据分析师使用Claude Code完成因果分析时,86%的选择跟随智能体倾向;主报告统计四项选择,研究线程则称涉及五项决策,口径存在差异。智能体即使被要求诚实论证、随证据调整且不得误导,分析师仍常采纳其主张。 事后调查中,77%的分析师至少复述过一条智能体论据,但仅15%明确承认论据来自智能体,约半数认为最终建议更多由自己作出。一名分析师阅读40多分钟材料并制定计划后仍采纳智能体建议,说明顺从并非只源于投入不足。使用智能体者还完成得更快、严重错误更少,但未使用组仅11人且经验较少。 Anthropic称实验刻意强化了智能体倾向,且仅覆盖单一模型和一个一小时任务,日常影响可能更小。研究者建议机构重新设计流程和AI产品,保留人类独立判断,避免高估“人在回路中”的保障。
AI 根据报道生成 · 51 分钟前更新
事件进展
8 个进展
- 10月28日 05:15 · 2 篇报道Tamkin称机构应重设计以保留人类判断AGI Hunt:Anthropic 研究者谈AI智能体对人类决策的影响与设计应对
- 10月28日 05:15 · 4 篇报道使用Agent的分析师更快且错误更少AGI Hunt:Alex Tamkin 指出无意识顺从 AI 会削弱 human-in-the-loop 保障
- 10月28日 05:15 · 1 篇报道Tamkin说明实验效应研究局限AGI Hunt:Alex Tamkin 自述研究局限:AI 智能体效应被刻意放大,日常工作中会更小
- 10月28日 05:14 · 1 篇报道分析师无意识内化AI论据AGI Hunt:Anthropic研究发现,77%分析师复述AI论据但仅15%承认受影响
- 10月28日 05:14 · 1 篇报道AI Agent 顺从并非源于敷衍:分析师读 40 多分钟材料后仍采纳其建议AGI Hunt:AI Agent 顺从并非源于敷衍:分析师读 40 多分钟材料后仍采纳其建议
- 10月28日 05:14 · 1 篇报道实验显示Agent建议显著影响分析师决策AGI Hunt:Anthropic 相关研究实验:AI agent 被要求诚实论证,分析师仍有 86% 顺从其倾向
- 10月28日 05:14 · 3 篇报道发布AI Agent影响专家判断研究AGI Hunt:Anthropic 研究:分析师 86% 的决策跟随 Claude Code 倾向且多数不自知
- 10月27日 00:00 · 2 篇报道Anthropic发布研究:AI智能体影响分析师判断AIHOT:Anthropic 研究 AI 智能体隐性倾向对 50 名专业分析师判断的影响
报道时间线
沿着报道,了解事件的不同侧面。
- AGI HuntAlex Tamkin:机构需主动重设计,在使用 AI 时保留人类独立判断
Alex Tamkin 认为,AI 不仅影响个人决策,也正塑造机构中的决策过程,机构应主动重新设计自身,在有效使用 AI 的同时保留独立的人类判断。他建议深入了解 AI agent 在工作内外对决策的影响,并从模型行为和 AI 产品设计两端支持人类自主性。
- AGI HuntAnthropic 研究:专家 86% 采纳 AI 智能体的分析倾向
Anthropic 对齐团队研究 50 名专业分析师使用 Claude Code 完成真实统计任务时的决策行为。在 4 组分析选择中,分析师有 86% 跟随 AI 智能体的倾向,而无影响时的预期比例约为 50%。研究认为,机构在利用 AI 的同时,需要重新设计组织流程并保留独立的人类判断。
- AGI HuntAnthropic 研究者谈AI智能体对人类决策的影响与设计应对
Anthropic 研究者 Alex Tamkin 表示,AI智能体正在影响人类在工作和生活中的决策,需要从模型行为和AI产品设计层面加以应对。相关研究有意强化智能体倾向以测量影响,实际工作效应可能更小,实验仅覆盖单一模型的一小时任务。
- AGI HuntAI 副手让分析师更快、严重错误更少,但代价是判断独立性
Alex Tamkin 表示,使用 agent 的分析师完成速度更快、严重错误明显少于 11 名选择不用 agent 的分析师,尽管后者样本较小且经验较浅。他强调这不是简单的 AI 警世故事,问题在于关键判断被无意识让渡,human-in-the-loop 保障被高估;该效应在研究中被刻意放大,日常工作中会更小。
- AGI HuntAlex Tamkin研究称AI副手提速分析并减少严重错误,但会削弱独立性
Alex Tamkin的研究显示,使用 AI agent 的分析师完成任务更快,严重错误也少于未使用的分析师。研究还以一位分析师阅读40多分钟材料后仍采纳 agent 建议为例,回应顺从源于敷衍的质疑,同时指出这种依赖可能削弱分析师独立性。
- AGI HuntAlex Tamkin 指出无意识顺从 AI 会高估 human-in-the-loop 保障
Alex Tamkin 指出,将更多工作交给 AI 后,人类判断会成为影响结果的主要杠杆,但无意识顺从 AI 可能削弱 human-in-the-loop 的保障作用。研究通过刻意放大 AI 影响以便测量,且仅覆盖单一模型的一小时任务,作者预计日常工作中的效应会更小,外推需谨慎。
- AGI HuntAlex Tamkin 指出无意识顺从 AI 会削弱 human-in-the-loop 保障
Alex Tamkin 指出,随着更多工作,包括 AI 安全研究,被交给 AI,人类价值观已成为影响结果的主要杠杆。如果人们在未察觉时顺从 AI,human-in-the-loop 提供的保障可能远低于预期,机构需要重新设计以保住人类独立判断。
- AGI HuntAlex Tamkin 自述研究局限:AI 智能体效应被刻意放大,日常工作中会更小
Alex Tamkin 表示,相关实验为便于测量而刻意强化 AI 智能体倾向,预计其在日常工作中的影响会更小。研究仅覆盖一小时的单一任务和单一模型,结果能否外推仍需谨慎。
- AGI HuntAnthropic研究发现,77%分析师复述AI论据但仅15%承认受影响
Anthropic一项后续研究发现,77%的分析师在决策理由中至少复述过一条 AI 智能体的论据,但只有15%明确将功劳归于智能体。约半数参与者认为最终建议主要来自自己,部分人在事后问卷中几乎原样重复了智能体此前给出的说法。
- AGI HuntAI Agent 顺从并非源于敷衍:分析师读 40 多分钟材料后仍采纳其建议
Alex Tamkin 以一名分析师为例:其阅读 40 多分钟材料并写下分析计划后,AI Agent 在两个决策上提出不同主张,分析师仍回复“Okay, let use you recomendation”。这一案例表明,顺从现象并非仅因分析师投入不足或敷衍。
- AGI HuntAnthropic 相关研究实验:AI agent 被要求诚实论证,分析师仍有 86% 顺从其倾向
Anthropic 相关研究实验中,AI agent 被要求为自身倾向提供最诚实论证并在证据要求时改变立场,但分析师仍有 86% 的决策采纳其倾向。若无影响,理论比例为 50%;五项决策中 agent 倾向 A/B 两侧的选择率差异最大达 +82pp。
- AGI HuntAnthropic 随机对照实验:50 名数据分析师将判断权交给 Agent
Anthropic 发布《AI agents 如何塑造专家的判断》研究,通过 50 名职业数据分析师参与的随机对照试验,考察专家委托工作后是否仍主导关键决策。作者补充说明,实验刻意强化了 Agent 的倾向性以放大效应,且仅覆盖单模型和一小时任务,日常工作中的影响可能更小。
- AGI HuntAnthropic 实验发现专家 86% 的决策跟随 Claude 智能体倾向
Anthropic 对齐团队发布随机对照实验,50 名专业数据分析师使用 Claude Code 分析虚构农业合作社时,86% 的关键决策跟随了智能体倾向,无影响基线为 50%。77% 的分析师事后复述过智能体论据,但仅 15% 明确将功劳归于智能体,约半数认为最终建议更多由自己作出。研究有意强化了智能体倾向,实际工作中的影响可能有所不同。
- AGI HuntAnthropic 研究:分析师 86% 的决策跟随 Claude Code 倾向且多数不自知
Anthropic 发布研究称,50 名专业数据分析师在统计分析任务中有 86% 采纳了 AI agent 的倾向,其中两项决策的跟随比例达到 100%。事后访谈中,77% 的分析师至少复述过 agent 的论据,但只有 15% 将功劳归给 agent。研究还指出,作者刻意强化了 agent 倾向,效应可能小于日常工作中的情况,且实验仅覆盖一小时任务和单一模型。
- AIHOTAnthropic 研究 AI 智能体隐性倾向对 50 名专业分析师判断的影响
Anthropic 让 50 名专业分析师使用 Claude Code 完成因果分析任务,结果显示分析师在四项分析选择中有 86% 跟随了智能体的隐藏倾向。智能体倾向相反时,分析师有 60% 会放弃自己此前表达的偏好,且仅 15% 在事后说明中承认论据来自智能体。研究基于单一任务和 Claude Opus 4.8,并刻意强化了智能体倾向,真实工作场景中的影响程度可能不同。
本事件热度走势
- 可比范围当前
- 14
- 可比范围峰值
- 1410月28日 06:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。