jackjusko 开源 PrefixRelay 代理层

开发者 jackjusko 开源 PrefixRelay，通过模拟 OpenAI 兼容端点，让 Cursor 复用 KV 缓存并连接本地模型。其称，数千次请求中的缓存命中率保持在 97% 以上。 代理将不同后端模型呈现为单一模型名，按前缀路由至对应 worker，以绕过 Cursor 不支持自定义子代理模型的限制；还可按模型上下文长度自动压缩，避免其默认 200k 上下文导致压缩过晚。PrefixRelay 支持多模态图片、三块 GPU 各运行一个 Qwen3-27B 实例，以及本地与 OpenRouter 端点共存，并内置 Cloudflare Tunnel 快速启动方案，以适配 Cursor 禁止 localhost 端点的限制。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。