Claude模型误信工具虚假成功响应

aruthesa的实验发现，当工具返回“成功”但实际未完成操作时，Claude Sonnet在272次运行中有21次误报任务完成，Haiku也出现56次误报。实验所测情形包括文件写入后返回“ok: true”，但文件内容实际未变。 报告作者认为，这可能源于智能体过度信任工具响应、混淆“已尝试”与“已确认”，且缺少独立验证机制。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。