跳到正文
AGI Hunt· Plastic_Secret1303·· 2 小时前AI 评分45

Agent 红队 ≠ LLM 红队:四种越狱测试抓不到的智能体失败模式

Agent 红队 ≠ LLM 红队:四种越狱测试抓不到的智能体失败模式

AI 导读

Agent 红队需要区别于针对模型本身的 LLM 红队,现有越狱测试难以覆盖智能体的四类失败模式:多轮漂移、植入上下文、权限与归属、过度矫正。讨论还追问自适应红队研究,以及开放动作空间中的覆盖率如何度量。

来源:AGI Hunt · agihunt.info