AGI Hunt· Public-Feedback-6705·· 2 小时前AI 评分37
KV cache vs 循环记忆:Transformer 是否让 token 承担了过多推理?
KV cache vs 循环记忆:我们是否让 Transformer 用 token 承担太多推理?
AI 导读
Reddit 架构讨论质疑,Transformer 的链式推理是否因每一步写入 token 序列而忽视内部状态更新。讨论比较 KV cache 与 Mamba-2、RWKV 的循环记忆,并提及 Titans、BDH(Dragon Hatchling)。分歧在于记忆应从历史 token 检索,还是通过内部连接变化向前携带;作者主张结合精确召回与持续更新,而非替代 Transformer。
来源:AGI Hunt · agihunt.info