GitHub 新星仓库·· 9 小时前AI 评分53
false-cant-pilot:过期指令导致 Claude 智能体误拒可用工具
sturzael/false-cant-pilot
AI 导读
false-cant-pilot 在 Claude 上开展 450 次预注册实验,测试过期指令是否会让智能体错误地表示无法使用已经找到的工具。结果显示,单条错误指令导致的误拒率为 Haiku 80%、Sonnet 60%、Opus 10%。
来源:GitHub 新星仓库 · github.com
sturzael/false-cant-pilot
false-cant-pilot 在 Claude 上开展 450 次预注册实验,测试过期指令是否会让智能体错误地表示无法使用已经找到的工具。结果显示,单条错误指令导致的误拒率为 Haiku 80%、Sonnet 60%、Opus 10%。
来源:GitHub 新星仓库 · github.com