上交大提出隐状态参数化记忆架构
热点事件持续更新
上交大提出隐状态参数化记忆架构
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
上海交大 LUMIA Lab 提出 Deep Fusion Memory（DFM），把语料块级参数化记忆直接嵌入大语言模型中间隐状态，无需推理时在线检索。 该架构由因果记忆预测器根据上文生成记忆，再通过门控交叉注意力注入隐藏状态，并以语料块嵌入作为监督。论文称，相比继续预训练，该方法可缓解灾难性遗忘，并提升知识密集型任务表现。
AI 根据报道生成 · 1 小时前更新
最新进展10月23日 12:17
上交大提出 Deep Fusion Memory：将参数化记忆嵌入 LLM 隐状态，免在线检索报道时间线
沿着报道，了解事件的不同侧面。
10月23日
- AGI Hunt上交大提出 Deep Fusion Memory：将参数化记忆嵌入 LLM 隐状态，免在线检索
上海交大 LUMIA Lab 提出 Deep Fusion Memory（DFM），将 chunk 级参数化记忆嵌入 LLM 隐状态，并省去推理时在线检索。该架构以因果记忆预测器生成记忆，通过门控交叉注意力注入中间隐藏状态，并以语料 chunk 嵌入作为监督。相比继续预训练可避免灾难性遗忘，同时提升知识密集型任务表现。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。