AGI Hunt· stanfordnlp·· 4 小时前AI 评分35
Vision-LSTM 与 xLSTM 的 mLSTM 单元加入 Tversky 相似度分支,一半深度追平全深度并提速 2 倍
在 RNN 单元加入 Tversky 相似度分支,一半深度追平全深度并提速 2 倍
AI 导读
Stanford NLP 转发的架构实验在 mLSTM 单元中加入 Tversky 相似度分支,使 Vision-LSTM 与 xLSTM 在相同参数量下以一半深度匹配甚至超过完整深度基线。该方法使 FLOPs 减少约 20%,训练速度最高提升 2 倍;其思路是将作为集合相似度非对称推广的 Tversky 相似度直接嵌入递归神经网络单元内部。
来源:AGI Hunt · agihunt.info