跳到正文
AGI Hunt· _reachsumit·· 58 分钟前AI 评分38

CacheGraft:离线将大模型 KV 缓存嫁接给小模型,RAG 仅需 0.6B 模型

CacheGraft:离线把大模型 KV 缓存嫁接给小模型,RAG 只需 0.6B 模型

AI 导读

CacheGraft 通过离线生成并嫁接融合 KV 缓存,让 RAG 查询阶段仅运行 0.6B 小模型,无需 4B 大模型参与。其基于 Cache-to-Cache(C2C)融合框架,在五个 QA 基准、两个本地评审模型的 30 组对比中有 29 组优于纯文本小模型基线,其中 17 组统计显著。该方法适合算力受限、只能部署小模型的场景。

来源:AGI Hunt · agihunt.info