AIHOT·· 58 分钟前精选AI 评分76
OpenAI 训练并部署激活分类器监控前沿模型安全
OpenAI 训练并部署激活分类器作为前沿模型安全监控层
AI 导读
OpenAI 从 GPT-5.6 开始为全部助手回复增加激活分类器安全监控层,利用模型内部激活判断输出是否失准或违规。分类器可在流式生成中触发拦截,并支持暂缓工具调用,再交由推理模型作最终判断。OpenAI 称其在越狱测试中整体比基于内容的分类器更稳健,但探针依赖已标注数据,且每个新基础模型通常都需要重新训练。
推荐理由
文章系统介绍了激活分类器的架构、训练、部署与迁移限制,并披露其在越狱检测和流式拦截方面的实验结果。
来源:AIHOT · alignment.openai.com