跳到正文
AGI Hunt· Guy Hadad·· 44 分钟前AI 评分35

GraphMuon 将 Muon 正交化适配 GNN,图基准收敛更快

GraphMuon把Muon正交化改造适配GNN,图基准收敛更快

AI 导读

Ben-Gurion 大学团队发布 GraphMuon,将 Muon 优化器的矩阵正交化思路适配到图神经网络的传播表示协方差。针对图传播放大更新幅度的问题,GraphMuon 采用模块感知的更新方式加以抑制,并在图基准上更快达到目标验证损失。

来源:AGI Hunt · agihunt.info