Resin 新增 KV cache 分层存储
热点事件持续更新
Resin 新增 KV cache 分层存储
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
开源推理引擎 Resin 宣布支持 KV cache 分层存储：KV cache 与 recurrent state 被逐出 GPU 显存后，可转移至 CPU 内存等层级，并通过异步取回复用，以扩展有效 KV 容量、提升前缀缓存命中率。 Resin 内置容量上限可配置的 CPU DRAM provider，使用 pinned host memory；开发者也可通过统一的 lookup/store/load 接口接入 SSD、Mooncake 等其他存储层级。
AI 根据报道生成 · 1 小时前更新
最新进展10月31日 08:34
开源推理引擎 Resin 新增 KV cache 分层存储报道时间线
沿着报道，了解事件的不同侧面。
10月31日
- AGI Hunt开源推理引擎 Resin 新增 KV cache 分层存储
开源推理引擎 Resin 宣布支持 KV cache 分层存储，被逐出 GPU 显存的数据可溢出至 CPU 内存等层级，并通过异步取回复用。Resin 内置使用 pinned host memory 且容量上限可配置的 CPU DRAM provider，也可通过统一的 lookup/store/load 接口接入 SSD、Mooncake 等存储层级，以扩展有效 KV 容量并提升前缀缓存命中率。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。