跳到正文
热点事件持续更新

CacheGraft让RAG查询仅用0.6B小模型

1 篇报道1 个报道来源46 分钟前更新

先了解这件事

AI 综述

CacheGraft研究团队提出并评估了一种跨模型缓存嫁接方法：离线阶段由4B大模型为语料段落生成融合KV缓存并注入0.6B小模型，查询阶段只需运行小模型，无需大模型参与。该方法将RAG的文档增强从文本转移到潜空间，融合器未在检索数据上训练，适用于算力受限、只能部署小模型的场景。 在五个问答基准、两个本地评审模型的30组对比中，CacheGraft有29组优于纯文本小模型基线，其中17组达到统计显著。

AI 根据报道生成 · 24 分钟前更新

最新进展11月6日 14:11
CacheGraft：离线将大模型 KV 缓存嫁接给小模型，RAG 仅需 0.6B 模型

报道时间线

沿着报道，了解事件的不同侧面。

11月6日
  1. AGI Hunt
    CacheGraft：离线将大模型 KV 缓存嫁接给小模型，RAG 仅需 0.6B 模型

    CacheGraft 通过离线生成并嫁接融合 KV 缓存，让 RAG 查询阶段仅运行 0.6B 小模型，无需 4B 大模型参与。其基于 Cache-to-Cache（C2C）融合框架，在五个 QA 基准、两个本地评审模型的 30 组对比中有 29 组优于纯文本小模型基线，其中 17 组统计显著。该方法适合算力受限、只能部署小模型的场景。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。