Triangle 发布跨模型 KV Cache 迁移 SDK
热点事件持续更新
Triangle 发布跨模型 KV Cache 迁移 SDK
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
OneTriangle 发布跨模型 KV Cache 迁移 SDK,让小模型完成预填充后,将缓存迁移给大模型继续解码;目前已上线 Qwen3.5-4B 至 Qwen3.8-27B 的模型组合,更多模型对开放测试。 OneTriangle 称,在 1M 上下文场景下,这套方案的首个词元生成时间最高可加快 10.8 倍。该 SDK 面向需要跨模型复用预填充结果的推理场景。
AI 根据报道生成 · 52 分钟前更新
最新进展11月17日 04:40
Triangle 发布跨模型 KV cache 迁移,1M 上下文 TTFT 快 10.8 倍报道时间线
沿着报道,了解事件的不同侧面。
11月17日
- AGI HuntTriangle 发布跨模型 KV cache 迁移,1M 上下文 TTFT 快 10.8 倍
Triangle 发布跨模型 KV cache 迁移 SDK,通过小模型执行 prefill,再将 KV cache 迁移给大模型解码,1M 上下文下 TTFT 最高提速 10.8 倍。SDK 已上线 Qwen3.5-4B → Qwen3.8-27B 组合,更多模型对进入开放 beta。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。