跳到正文
热点事件持续更新

dosco称Transformer后无同级架构突破

1 篇报道1 个报道来源31 分钟前更新

先了解这件事

AI 综述

开发者 dosco 发帖断言,LLM 出现前已有 Transformer 论文,此后未再出现接近其量级的架构创新。目前主流大语言模型仍主要采用 Transformer 变体;虽然已有 Mamba 等线性架构,但尚未撼动注意力机制的主导地位。

AI 根据报道生成 · 14 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月6日
  1. AGI Hunt
    开发者断言:Transformer 论文之后,再无接近量级的架构突破

    开发者 dosco 发帖称,LLM 出现前已有 Transformer 论文,此后未再出现接近其量级的架构创新。当前主流 LLM 仍以 Transformer 变体为主,Mamba 等线性架构尚未撼动注意力机制的地位。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。