跳到正文
AGI Hunt· bravo_abad·· 1 小时前AI 评分57

ReLU 网络二阶导几乎处处为零,物理与 PINN 场景需改用平滑激活

ReLU网络二阶导几乎处处为零,物理与PINN场景必须换平滑激活

AI 导读

ReLU 网络的二阶导几乎处处为零,会导致物理场景中的力跳变,并使 PINN 的扩散项在训练开始前从损失中消失。Softplus、SiLU、GELU 等平滑激活可保留类似 ReLU 的形状,同时提供非零的各阶导数。

来源:AGI Hunt · agihunt.info