跳到正文
AGI Hunt· Public-Feedback-6705·· 2 小时前AI 评分37

KV cache vs 循环记忆:Transformer 是否让 token 承担了过多推理?

KV cache vs 循环记忆:我们是否让 Transformer 用 token 承担太多推理?

AI 导读

Reddit 架构讨论质疑,Transformer 的链式推理是否因每一步写入 token 序列而忽视内部状态更新。讨论比较 KV cache 与 Mamba-2、RWKV 的循环记忆,并提及 Titans、BDH(Dragon Hatchling)。分歧在于记忆应从历史 token 检索,还是通过内部连接变化向前携带;作者主张结合精确召回与持续更新,而非替代 Transformer。

来源:AGI Hunt · agihunt.info