ReLU 二阶导几乎为零,PINN 与物理场景改用平滑激活
热点事件持续更新
ReLU 二阶导几乎为零,PINN 与物理场景改用平滑激活
1 篇报道1 个报道来源51 分钟前更新
先了解这件事
AI 综述
一项分析指出,用 ReLU 激活的神经网络二阶导几乎处处为零,因此不适合直接用于需要力连续性的物理仿真场景;在 PINN(物理信息神经网络)中,ReLU 的分段线性性质会使扩散项在训练开始前就从损失函数中消失,即该项对梯度不再提供贡献。 作为替代,Softplus、SiLU、GELU 等平滑激活函数在保持与 ReLU 相近形状的同时,能提供各阶非零导数,从而让涉及二阶导的物理项和扩散项在训练中获得梯度。
AI 根据报道生成 · 35 分钟前更新
最新进展11月22日 23:58
ReLU 网络二阶导几乎处处为零,物理与 PINN 场景需改用平滑激活报道时间线
沿着报道,了解事件的不同侧面。
11月22日
- AGI HuntReLU 网络二阶导几乎处处为零,物理与 PINN 场景需改用平滑激活
ReLU 网络的二阶导几乎处处为零,会导致物理场景中的力跳变,并使 PINN 的扩散项在训练开始前从损失中消失。Softplus、SiLU、GELU 等平滑激活可保留类似 ReLU 的形状,同时提供非零的各阶导数。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。