跳到正文
热点事件持续更新

ResMem将检索知识蒸馏进参数记忆

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

McGill等机构提出ResMem，将检索证据离线蒸馏到参数化记忆模块，使冻结的大语言模型推理时无需在线RAG。方法通过加性logit残差记忆模块进行自蒸馏，仅更新该模块，相比MLP Memory等kNN方案无需保存海量token表示。 论文实验显示，在Wikipedia子集上，教师构建的存储开销减少94.7%；五个问答数据集上，冻结模型的平均token F1由32.83%提升至34.48%。

AI 根据报道生成 · 1 小时前更新

最新进展11月4日 14:48
ResMem 将检索知识蒸馏进参数记忆，推理时无需 RAG

报道时间线

沿着报道，了解事件的不同侧面。

11月4日
  1. AGI Hunt
    ResMem 将检索知识蒸馏进参数记忆，推理时无需 RAG

    McGill 等机构提出 ResMem，将检索证据离线蒸馏为参数化记忆，使冻结 LLM 在推理时无需在线 RAG。该方法通过加性 logit 残差记忆模块进行自蒸馏，仅更新该模块；在 Wikipedia 子集上的教师构建存储开销减少 94.7%，五个问答数据集上的平均 token F1 从 32.83% 提升至 34.48%。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。