跳到正文
AGI Hunt· ycombinator·· 1 小时前AI 评分56

Triangle 发布跨模型 KV cache 迁移,1M 上下文 TTFT 快 10.8 倍

Triangle 发布跨模型 KV Cache 迁移,1M 上下文 TTFT 快 10.8 倍

AI 导读

Triangle 发布跨模型 KV cache 迁移 SDK,通过小模型执行 prefill,再将 KV cache 迁移给大模型解码,1M 上下文下 TTFT 最高提速 10.8 倍。SDK 已上线 Qwen3.5-4B → Qwen3.8-27B 组合,更多模型对进入开放 beta。

来源:AGI Hunt · agihunt.info