跳到正文
AGI Hunt· torchcompiled·· 7 小时前AI 评分40

「神经孪生」模型引热议:评论者类比 mixture-of-transformers 架构

「神经孪生」模型引热议: commenter 类比 mixture-of-transformers 架构

AI 导读

torchcompiled 评论称,专门为彼此训练、完全用「neuralese」(神经网络内部表示)通信的「neural twins」模型发布后,其架构更接近 mixture-of-transformers 风格。该评论指出,这正是多模态扩散模型中对多种模态做联合注意力时的常见做法,为「模型间以内部表示通信」这一新范式提供了架构层面的参照。

来源:AGI Hunt · agihunt.info