跳到正文
热点事件持续更新

Transformer推理与循环记忆之争

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

一场关于 Transformer 推理机制的架构讨论引发关注:参与者质疑,链式推理把每一步结果写入 token 序列,可能忽视了模型内部状态的持续更新,并比较 KV cache 与 Mamba-2、RWKV 的循环记忆,以及 Titans、BDH 等方案。讨论的核心分歧是,记忆应从历史 token 中检索,还是通过内部连接变化向前携带;作者主张结合精确召回与持续更新,而不是直接替代 Transformer。

AI 根据报道生成 · 53 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月21日
  1. AGI Hunt
    KV cache vs 循环记忆:Transformer 是否让 token 承担了过多推理?

    Reddit 架构讨论质疑,Transformer 的链式推理是否因每一步写入 token 序列而忽视内部状态更新。讨论比较 KV cache 与 Mamba-2、RWKV 的循环记忆,并提及 Titans、BDH(Dragon Hatchling)。分歧在于记忆应从历史 token 检索,还是通过内部连接变化向前携带;作者主张结合精确召回与持续更新,而非替代 Transformer。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。