跳到正文
AGI Hunt· jjusko20·· 2 小时前AI 评分73

开发者开源 PrefixRelay,为 Cursor 复用 KV 缓存并接入本地模型

开发者开源 PrefixRelay:让 Cursor 稳定复用 KV 缓存跑本地模型

AI 导读

开发者 jackjusko 开源 PrefixRelay,通过伪装成 OpenAI 兼容端点的代理层改善 Cursor 接入本地模型的缓存与路由效率。其在数千次请求中将缓存命中率保持在 97%+,支持多模态图片、三块 GPU 运行三个 Qwen3-27B 实例、按模型上下文长度自动压缩,以及本地和 OpenRouter 多端点共存。

来源:AGI Hunt · agihunt.info