跳到正文
热点事件持续更新

清华团队开源多模型KV-Cache直连框架

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

清华大学、上海AI Lab等机构研究者开源Cache-to-Cache(C2C)通信框架,使多个大语言模型协作时可通过神经网络投影、融合并直接交换内部KV-Cache,不再依赖生成文本传递信息,并由可学习门控机制选择适合受益的层。 据团队实验结果,相比文本通信范式,C2C准确率提高约3.1%至5.4%、较单模型提升6.4%至14.2%,响应延迟平均改善2.5倍;代码已发布至GitHub仓库thu-nics/C2C。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. AGI Hunt
    清华团队开源 C2C,让多个 LLM 直接交换 KV-Cache 并提速 2.5 倍

    清华大学、上海AI Lab 等机构研究者开源 Cache-to-Cache(C2C)通信框架,让多个 LLM 通过神经网络投影和融合直接交换内部 KV-Cache,并由可学习门控机制选择受益层。相比文本通信范式,该方法准确率提升约 3.1–5.4%,相对单模型提升 6.4–14.2%,响应延迟平均提速 2.5 倍,代码已发布至 github.com/thu-nics/C2C。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。