跳到正文
AGI Hunt· viksit·· 1 小时前AI 评分35

MIT NLP 组提出 Latent Lattice:给残差流增加一条横向计算轴

MIT NLP 组提出 Latent Lattice:给残差流加一条横向计算轴

AI 导读

MIT NLP 小组转发介绍新架构 Latent Lattice Language Models (LLLMs),在逐层纵向残差流之外增加一条水平的潜格计算轴。LLLM 用循环潜变量扩展残差流的计算量,思路结合 RNN 与 Transformer,属于新架构方向的早期研究。

来源:AGI Hunt · agihunt.info