跳到正文
AGI Hunt· dosco·· 41 分钟前AI 评分21

开发者断言:Transformer 论文之后,再无接近量级的架构突破

AI 导读

开发者 dosco 发帖称,LLM 出现前已有 Transformer 论文,此后未再出现接近其量级的架构创新。当前主流 LLM 仍以 Transformer 变体为主,Mamba 等线性架构尚未撼动注意力机制的地位。

来源:AGI Hunt · agihunt.info