上交大提出 Deep Fusion Memory：将参数化记忆嵌入 LLM 隐状态，免在线检索

上海交大 LUMIA Lab 提出 Deep Fusion Memory（DFM），将 chunk 级参数化记忆嵌入 LLM 隐状态，并省去推理时在线检索。该架构以因果记忆预测器生成记忆，通过门控交叉注意力注入中间隐藏状态，并以语料 chunk 嵌入作为监督。相比继续预训练可避免灾难性遗忘，同时提升知识密集型任务表现。