跳到正文
AGI Hunt· AccBalanced·· 1 小时前AI 评分36

LMCache 招揽推理引擎接入跨网传输 KV Cache 数据层

KV Cache 跨网传输比重算更便宜,LMCache 招揽推理引擎接入

AI 导读

LMCache 邀请各推理引擎接入其开源、厂商中立且栈中立的 AI 原生数据层,以提升缓存命中率。其思路是通过互联网传输 KV Cache,在目的地可能比重新计算更快、更便宜,并为长上下文推理服务提供缓存与计算分离的路径。

来源:AGI Hunt · agihunt.info