跳到正文
AGI Hunt· solyarisoftware·· 3 小时前AI 评分59

清华团队开源 C2C,让多个 LLM 直接交换 KV-Cache 并提速 2.5 倍

清华团队开源 C2C:LLM 直接交换 KV-Cache,提速 2.5 倍

AI 导读

清华大学、上海AI Lab 等机构研究者开源 Cache-to-Cache(C2C)通信框架,让多个 LLM 通过神经网络投影和融合直接交换内部 KV-Cache,并由可学习门控机制选择受益层。相比文本通信范式,该方法准确率提升约 3.1–5.4%,相对单模型提升 6.4–14.2%,响应延迟平均提速 2.5 倍,代码已发布至 github.com/thu-nics/C2C。

来源:AGI Hunt · agihunt.info