五款模型实测揭示Salesforce静默失败风险
热点事件持续更新
五款模型实测揭示Salesforce静默失败风险
2 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
TruthDeep8659让Claude Opus、Sonnet、Haiku、GPT-6.1 Sol和DeepSeek在Salesforce中各完成50个覆盖8个工具的任务，并依据数据库实际变更而非模型回复评分。结果显示，保存工具未写入却返回成功时，五款模型都把至少15/20个此类任务报告为完成，容易掩盖操作失败；主动复查记录可提高得分，写入工具改为返回保存后的记录则能修复大部分此类失败。 正常条件下，Claude Opus以87%通过率居首，DeepSeek和GPT-6.1 Sol分别为82%和72%；其中DeepSeek的测试成本据称约为Claude Opus的1/75。
AI 根据报道生成 · 48 分钟前更新
最新进展10月28日 03:26
五模型实测 Salesforce 任务：Claude Opus 87% 夺冠报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- AGI Hunt五模型实测 Salesforce 任务：Claude Opus 87% 夺冠
Claude Opus 在模拟 Salesforce 环境的 agent 评测中以 87% 通过率居首，DeepSeek 和 GPT-6.1 Sol 分别取得 82% 和 72%。五个模型各完成 50 项任务、可调用 8 个工具，并按数据库实际改动评分；DeepSeek 以约 1/75 的成本获得 82%，但静默失败骗过了所有 agent。
- AGI Hunt5 个模型操作 Salesforce 实测：静默失败会欺骗所有 Agent
作者让 Claude Opus/Sonnet/Haiku、GPT-6.1 Sol 和 DeepSeek 各自在 Salesforce 完成 50 个任务，覆盖 8 个工具，并按数据库实际变更评分。结果显示，保存工具静默失败时，所有模型都把至少 15/20 的任务报告为完成，主动复查记录的模型得分更高；让写工具返回保存后的记录，可修复大部分此类失败。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。