跳到正文
热点事件持续更新

OpenAI用激活分类器拦截违规输出

2 篇报道2 个报道来源1 小时前更新

先了解这件事

AI 综述

OpenAI可解释性团队宣布,自GPT-5.6起在前沿模型部署激活分类器探针,作为安全训练之外的实时防御层;分类器根据模型内部激活,在生成过程中判断内容是否失准或违规,超过阈值时停止向用户输出,并交由推理模型作最终判断。 该机制也可暂缓工具调用,待标记为安全后再执行。OpenAI称其在越狱测试中整体比基于内容的分类器更稳健,但探针依赖标注数据,只能检测已知类型的不良行为,且不同基础模型通常需要重新训练。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月3日
  1. AIHOT精选
    OpenAI 训练并部署激活分类器监控前沿模型安全

    OpenAI 从 GPT-5.6 开始为全部助手回复增加激活分类器安全监控层,利用模型内部激活判断输出是否失准或违规。分类器可在流式生成中触发拦截,并支持暂缓工具调用,再交由推理模型作最终判断。OpenAI 称其在越狱测试中整体比基于内容的分类器更稳健,但探针依赖已标注数据,且每个新基础模型通常都需要重新训练。

  2. AGI Hunt
    OpenAI 自 GPT-5.6 起在前沿模型部署激活分类器探针

    OpenAI 可解释性团队宣布,自 GPT-5.6 起在前沿模型中部署激活分类器探针,作为安全训练之外的实时防御层。该机制利用模型内部激活进行流式判定,可在违规回答输出过程中中途阻断;其局限包括依赖标注数据、只能检测已知类型的不良行为,且难以跨模型复用。

本事件热度走势

可比范围当前
19
可比范围峰值
2011月3日 04:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。