AGI Hunt· Guy Hadad·· 44 分钟前AI 评分35
GraphMuon 将 Muon 正交化适配 GNN,图基准收敛更快
GraphMuon把Muon正交化改造适配GNN,图基准收敛更快
AI 导读
Ben-Gurion 大学团队发布 GraphMuon,将 Muon 优化器的矩阵正交化思路适配到图神经网络的传播表示协方差。针对图传播放大更新幅度的问题,GraphMuon 采用模块感知的更新方式加以抑制,并在图基准上更快达到目标验证损失。
来源:AGI Hunt · agihunt.info