跳到正文
热点事件持续更新

ReLU 二阶导几乎为零,PINN 与物理场景改用平滑激活

1 篇报道1 个报道来源51 分钟前更新

先了解这件事

AI 综述

一项分析指出,用 ReLU 激活的神经网络二阶导几乎处处为零,因此不适合直接用于需要力连续性的物理仿真场景;在 PINN(物理信息神经网络)中,ReLU 的分段线性性质会使扩散项在训练开始前就从损失函数中消失,即该项对梯度不再提供贡献。 作为替代,Softplus、SiLU、GELU 等平滑激活函数在保持与 ReLU 相近形状的同时,能提供各阶非零导数,从而让涉及二阶导的物理项和扩散项在训练中获得梯度。

AI 根据报道生成 · 35 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月22日
  1. AGI Hunt
    ReLU 网络二阶导几乎处处为零,物理与 PINN 场景需改用平滑激活

    ReLU 网络的二阶导几乎处处为零,会导致物理场景中的力跳变,并使 PINN 的扩散项在训练开始前从损失中消失。Softplus、SiLU、GELU 等平滑激活可保留类似 ReLU 的形状,同时提供非零的各阶导数。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。