跳到正文
热点事件持续更新

研究揭示神经网络微扰敏感机制

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Ly 与 Gong 的研究发现,在手写数字 VGG 网络实验中,两个初始权重相差十个数量级的模型经历相同的确定性训练后,仍会在约 2.9% 的输入上给出不同预测,且缩小初始差距并未明显降低分歧率。 实验使用随机梯度下降训练,且故意污染一半训练标签。作者从动力系统角度解释称,导致不同训练结局的初始点可在极细尺度上相互交织,形成类似“蝴蝶效应”的结构。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月8日
  1. AGI Hunt
    Ly 与 Gong 研究:初始权重相差 10 个数量级,深度网络仍在约 3% 输入上分歧

    Ly 与 Gong 的研究解释了深度学习为何对微小扰动敏感:两个神经网络初始权重相差 10 个数量级,训练后仍在约 2.9% 的输入上给出不同预测。实验以 SGD 训练含一半污染标签的手写数字 VGG 卷积网络,结果指向极细尺度上相互交织的初始点与类“蝴蝶效应”结构。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。