Burkov 公布 scoping 研究：基准测试五种限制 LLM 域的干预策略

Andriy Burkov 介绍一项关于「scoping」的研究并公布系统基准测试结果：把五种技术干预策略与标准 system prompt 作对比，衡量它们在不让授权任务性能受损的前提下，把大模型的运营范围限制在特定业务域内的效果。 研究的出发点是 Burkov 所述的现象——当前 LLM 几乎会回答任何 prompt，使客服、文档问答、代码生成等企业部署容易受到干扰、出格行为和对抗性 prompt injection 攻击。他强调 scoping 与安全对齐不同：安全对齐针对的是窄范围内的有害输出，而 scoping 要求模型拒绝大量无关查询，同时保证合法请求的回答质量。报道未给出五种策略的具体名单与各项成绩排名。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。