AI审计员试点显示检出与误报难兼顾
热点事件持续更新
AI审计员试点显示检出与误报难兼顾
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Andy Hall 与 Dan Thompson 于10月15日开展试点，将AI审计员对Agent日志的判断与人工标注结果对比，评估以AI监督AI Agent的可行性。R-Judge基准显示，GPT-6 Astra在捕获99%不安全动作时误报率达15%；将检出目标降至95%后，几乎所有模型的误报率低于10%，Gemini 3.8 Flash低于4%。 结果表明，AI审计员可以提高不安全动作检出率，但检出目标越高，误报也越突出。上述数据仅来自带人工标注的基准日志，不能直接视为真实部署环境中的误报率。
AI 根据报道生成 · 2 小时前更新
最新进展11月8日 17:17
AI 审计 AI 试点：99% 检出率下 GPT-6 Astra 误报率达 15%报道时间线
沿着报道，了解事件的不同侧面。
11月8日
- AGI HuntAI 审计 AI 试点：99% 检出率下 GPT-6 Astra 误报率达 15%
10月15日的一项试点将AI审计员与人工标注的agent日志对比，评估以AI监督AI agent的可行性。R-Judge基准上，GPT-6 Astra捕捉99%不安全动作时误报率达15%；检出目标降至95%时，几乎所有模型误报率低于10%，Gemini 3.8 Flash低于4%。结果仅基于带标注日志，并非真实部署误报率，显示模型仍面临精度与召回两难。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。