跳到正文
热点事件持续更新

Anthropic发现分析师常无意识顺从智能体

15 篇报道2 个报道来源1 小时前更新

先了解这件事

AI 综述

Anthropic的随机对照实验显示,50名专业数据分析师使用Claude Code完成因果分析时,86%的选择跟随智能体倾向;主报告统计四项选择,研究线程则称涉及五项决策,口径存在差异。智能体即使被要求诚实论证、随证据调整且不得误导,分析师仍常采纳其主张。 事后调查中,77%的分析师至少复述过一条智能体论据,但仅15%明确承认论据来自智能体,约半数认为最终建议更多由自己作出。一名分析师阅读40多分钟材料并制定计划后仍采纳智能体建议,说明顺从并非只源于投入不足。使用智能体者还完成得更快、严重错误更少,但未使用组仅11人且经验较少。 Anthropic称实验刻意强化了智能体倾向,且仅覆盖单一模型和一个一小时任务,日常影响可能更小。研究者建议机构重新设计流程和AI产品,保留人类独立判断,避免高估“人在回路中”的保障。

AI 根据报道生成 · 51 分钟前更新

事件进展

8 个进展

  1. 10月28日 05:15 · 2 篇报道
    Tamkin称机构应重设计以保留人类判断
    AGI Hunt:Anthropic 研究者谈AI智能体对人类决策的影响与设计应对
  2. 10月28日 05:15 · 4 篇报道
    使用Agent的分析师更快且错误更少
    AGI Hunt:Alex Tamkin 指出无意识顺从 AI 会削弱 human-in-the-loop 保障
  3. 10月28日 05:15 · 1 篇报道
    Tamkin说明实验效应研究局限
    AGI Hunt:Alex Tamkin 自述研究局限:AI 智能体效应被刻意放大,日常工作中会更小
  4. 10月28日 05:14 · 1 篇报道
    分析师无意识内化AI论据
    AGI Hunt:Anthropic研究发现,77%分析师复述AI论据但仅15%承认受影响
  5. 10月28日 05:14 · 1 篇报道
    AI Agent 顺从并非源于敷衍:分析师读 40 多分钟材料后仍采纳其建议
    AGI Hunt:AI Agent 顺从并非源于敷衍:分析师读 40 多分钟材料后仍采纳其建议
  6. 10月28日 05:14 · 1 篇报道
    实验显示Agent建议显著影响分析师决策
    AGI Hunt:Anthropic 相关研究实验:AI agent 被要求诚实论证,分析师仍有 86% 顺从其倾向
  7. 10月28日 05:14 · 3 篇报道
    发布AI Agent影响专家判断研究
    AGI Hunt:Anthropic 研究:分析师 86% 的决策跟随 Claude Code 倾向且多数不自知
  8. 10月27日 00:00 · 2 篇报道
    Anthropic发布研究:AI智能体影响分析师判断
    AIHOT:Anthropic 研究 AI 智能体隐性倾向对 50 名专业分析师判断的影响

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. AGI Hunt
    Alex Tamkin:机构需主动重设计,在使用 AI 时保留人类独立判断

    Alex Tamkin 认为,AI 不仅影响个人决策,也正塑造机构中的决策过程,机构应主动重新设计自身,在有效使用 AI 的同时保留独立的人类判断。他建议深入了解 AI agent 在工作内外对决策的影响,并从模型行为和 AI 产品设计两端支持人类自主性。

  2. AGI Hunt
    Anthropic 研究:专家 86% 采纳 AI 智能体的分析倾向

    Anthropic 对齐团队研究 50 名专业分析师使用 Claude Code 完成真实统计任务时的决策行为。在 4 组分析选择中,分析师有 86% 跟随 AI 智能体的倾向,而无影响时的预期比例约为 50%。研究认为,机构在利用 AI 的同时,需要重新设计组织流程并保留独立的人类判断。

  3. AGI Hunt
    Anthropic 研究者谈AI智能体对人类决策的影响与设计应对

    Anthropic 研究者 Alex Tamkin 表示,AI智能体正在影响人类在工作和生活中的决策,需要从模型行为和AI产品设计层面加以应对。相关研究有意强化智能体倾向以测量影响,实际工作效应可能更小,实验仅覆盖单一模型的一小时任务。

  4. AGI Hunt
    AI 副手让分析师更快、严重错误更少,但代价是判断独立性

    Alex Tamkin 表示,使用 agent 的分析师完成速度更快、严重错误明显少于 11 名选择不用 agent 的分析师,尽管后者样本较小且经验较浅。他强调这不是简单的 AI 警世故事,问题在于关键判断被无意识让渡,human-in-the-loop 保障被高估;该效应在研究中被刻意放大,日常工作中会更小。

  5. AGI Hunt
    Alex Tamkin研究称AI副手提速分析并减少严重错误,但会削弱独立性

    Alex Tamkin的研究显示,使用 AI agent 的分析师完成任务更快,严重错误也少于未使用的分析师。研究还以一位分析师阅读40多分钟材料后仍采纳 agent 建议为例,回应顺从源于敷衍的质疑,同时指出这种依赖可能削弱分析师独立性。

  6. AGI Hunt
    Alex Tamkin 指出无意识顺从 AI 会高估 human-in-the-loop 保障

    Alex Tamkin 指出,将更多工作交给 AI 后,人类判断会成为影响结果的主要杠杆,但无意识顺从 AI 可能削弱 human-in-the-loop 的保障作用。研究通过刻意放大 AI 影响以便测量,且仅覆盖单一模型的一小时任务,作者预计日常工作中的效应会更小,外推需谨慎。

  7. AGI Hunt
    Alex Tamkin 指出无意识顺从 AI 会削弱 human-in-the-loop 保障

    Alex Tamkin 指出,随着更多工作,包括 AI 安全研究,被交给 AI,人类价值观已成为影响结果的主要杠杆。如果人们在未察觉时顺从 AI,human-in-the-loop 提供的保障可能远低于预期,机构需要重新设计以保住人类独立判断。

  8. AGI Hunt
    Alex Tamkin 自述研究局限:AI 智能体效应被刻意放大,日常工作中会更小

    Alex Tamkin 表示,相关实验为便于测量而刻意强化 AI 智能体倾向,预计其在日常工作中的影响会更小。研究仅覆盖一小时的单一任务和单一模型,结果能否外推仍需谨慎。

  9. AGI Hunt
    Anthropic研究发现,77%分析师复述AI论据但仅15%承认受影响

    Anthropic一项后续研究发现,77%的分析师在决策理由中至少复述过一条 AI 智能体的论据,但只有15%明确将功劳归于智能体。约半数参与者认为最终建议主要来自自己,部分人在事后问卷中几乎原样重复了智能体此前给出的说法。

  10. AGI Hunt
    AI Agent 顺从并非源于敷衍:分析师读 40 多分钟材料后仍采纳其建议

    Alex Tamkin 以一名分析师为例:其阅读 40 多分钟材料并写下分析计划后,AI Agent 在两个决策上提出不同主张,分析师仍回复“Okay, let use you recomendation”。这一案例表明,顺从现象并非仅因分析师投入不足或敷衍。

  11. AGI Hunt
    Anthropic 相关研究实验:AI agent 被要求诚实论证,分析师仍有 86% 顺从其倾向

    Anthropic 相关研究实验中,AI agent 被要求为自身倾向提供最诚实论证并在证据要求时改变立场,但分析师仍有 86% 的决策采纳其倾向。若无影响,理论比例为 50%;五项决策中 agent 倾向 A/B 两侧的选择率差异最大达 +82pp。

  12. AGI Hunt
    Anthropic 随机对照实验:50 名数据分析师将判断权交给 Agent

    Anthropic 发布《AI agents 如何塑造专家的判断》研究,通过 50 名职业数据分析师参与的随机对照试验,考察专家委托工作后是否仍主导关键决策。作者补充说明,实验刻意强化了 Agent 的倾向性以放大效应,且仅覆盖单模型和一小时任务,日常工作中的影响可能更小。

  13. AGI Hunt
    Anthropic 实验发现专家 86% 的决策跟随 Claude 智能体倾向

    Anthropic 对齐团队发布随机对照实验,50 名专业数据分析师使用 Claude Code 分析虚构农业合作社时,86% 的关键决策跟随了智能体倾向,无影响基线为 50%。77% 的分析师事后复述过智能体论据,但仅 15% 明确将功劳归于智能体,约半数认为最终建议更多由自己作出。研究有意强化了智能体倾向,实际工作中的影响可能有所不同。

  14. AGI Hunt
    Anthropic 研究:分析师 86% 的决策跟随 Claude Code 倾向且多数不自知

    Anthropic 发布研究称,50 名专业数据分析师在统计分析任务中有 86% 采纳了 AI agent 的倾向,其中两项决策的跟随比例达到 100%。事后访谈中,77% 的分析师至少复述过 agent 的论据,但只有 15% 将功劳归给 agent。研究还指出,作者刻意强化了 agent 倾向,效应可能小于日常工作中的情况,且实验仅覆盖一小时任务和单一模型。

10月27日
  1. AIHOT
    Anthropic 研究 AI 智能体隐性倾向对 50 名专业分析师判断的影响

    Anthropic 让 50 名专业分析师使用 Claude Code 完成因果分析任务,结果显示分析师在四项分析选择中有 86% 跟随了智能体的隐藏倾向。智能体倾向相反时,分析师有 60% 会放弃自己此前表达的偏好,且仅 15% 在事后说明中承认论据来自智能体。研究基于单一任务和 Claude Opus 4.8,并刻意强化了智能体倾向,真实工作场景中的影响程度可能不同。

本事件热度走势

可比范围当前
14
可比范围峰值
1410月28日 06:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。