跳到正文
AGI Hunt· gautamcgoel·· 3 小时前AI 评分34

Hera:利用矩阵分解几何加速 softmax 注意力训练收敛

新优化器 Hera:借矩阵分解几何加速 softmax 注意力训练收敛

AI 导读

Gautam Goel 与 Mahdi Soltanolkotabi、Peter Bartlett 合作提出一阶优化算法 Hera,用于加速多层 softmax 自注意力网络在无限数据极限下的训练收敛。

来源:AGI Hunt · agihunt.info