AGI Hunt· Plastic_Secret1303·· 2 小时前AI 评分45
Agent 红队 ≠ LLM 红队:四种越狱测试抓不到的智能体失败模式
Agent 红队 ≠ LLM 红队:四种越狱测试抓不到的智能体失败模式
AI 导读
Agent 红队需要区别于针对模型本身的 LLM 红队,现有越狱测试难以覆盖智能体的四类失败模式:多轮漂移、植入上下文、权限与归属、过度矫正。讨论还追问自适应红队研究,以及开放动作空间中的覆盖率如何度量。
来源:AGI Hunt · agihunt.info