AGI Hunt· ycombinator·· 1 小时前AI 评分56
Triangle 发布跨模型 KV cache 迁移,1M 上下文 TTFT 快 10.8 倍
Triangle 发布跨模型 KV Cache 迁移,1M 上下文 TTFT 快 10.8 倍
AI 导读
Triangle 发布跨模型 KV cache 迁移 SDK,通过小模型执行 prefill,再将 KV cache 迁移给大模型解码,1M 上下文下 TTFT 最高提速 10.8 倍。SDK 已上线 Qwen3.5-4B → Qwen3.8-27B 组合,更多模型对进入开放 beta。
来源:AGI Hunt · agihunt.info