AGI Hunt· yacinelearning·· 3 小时前AI 评分38
NextLat 论文细节:MLP 末端呈现无显式循环结构的训练版 RNN
论文细节:MLP 末端变成无循环结构的「训练版 RNN」
AI 导读
NextLat 论文指出,MLP 在网络末端实际形成了一个经过训练但没有显式循环结构的 RNN。Figure 10 显示,NextLat Latent Dynamics 在 A5 word problem 的 12 至 36 序列长度测试中保持约 1.0 准确率,而 NextLat Transformer 与 GPT 在超过 12 tokens 的训练长度后准确率跌至 0。
来源:AGI Hunt · agihunt.info