跳到正文
AGI Hunt· andrewaltair·· 3 小时前AI 评分46

AI 审计 AI 试点:99% 检出率下 GPT-6 Astra 误报率达 15%

AI 审计 AI 试点:99% 检出率下 GPT-6 Astra 误报达 15%

AI 导读

10月15日的一项试点将AI审计员与人工标注的agent日志对比,评估以AI监督AI agent的可行性。R-Judge基准上,GPT-6 Astra捕捉99%不安全动作时误报率达15%;检出目标降至95%时,几乎所有模型误报率低于10%,Gemini 3.8 Flash低于4%。结果仅基于带标注日志,并非真实部署误报率,显示模型仍面临精度与召回两难。

来源:AGI Hunt · agihunt.info