ReLU分类器远离训练数据仍趋高置信
热点事件持续更新
ReLU分类器远离训练数据仍趋高置信
1 篇报道1 个报道来源40 分钟前更新
先了解这件事
AI 综述
Jorge Bravo Abad 解读 Hein、Andriushchenko 与 Bitterwolf 于2019年证明的定理:在输入不受固定范围约束时,ReLU分类器远离训练数据后,softmax置信度会随距离趋近100%,并不会因样本陌生而自然降低。 其原因是softmax只比较已知类别的相对logit,不能判断输入是否属于训练分布,面对分布外样本仍会强行归类。因此,高置信度不能直接代表模型熟悉该输入,熟悉度需另行度量,事后校准也无法修复这一机制。
AI 根据报道生成 · 7 分钟前更新
最新进展11月23日 02:03
ReLU 分类器为何远离数据反而更自信:2019 年定理解释 softmax 置信度失真报道时间线
沿着报道,了解事件的不同侧面。
11月23日
- AGI HuntReLU 分类器为何远离数据反而更自信:2019 年定理解释 softmax 置信度失真
Jorge Bravo Abad 解读 2019 年定理:输入不受固定范围约束时,ReLU 分类器远离训练数据后的置信度趋向 100%。softmax 只比较已知类别的相对 logit,无法判断输入是否在训练分布内;面对未见的新物理过程仍会强行归类,熟悉度需另行度量,事后校准无法修复。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。