开源推理引擎 Resin 新增 KV cache 分层存储

开源推理引擎 Resin 宣布支持 KV cache 分层存储，被逐出 GPU 显存的数据可溢出至 CPU 内存等层级，并通过异步取回复用。Resin 内置使用 pinned host memory 且容量上限可配置的 CPU DRAM provider，也可通过统一的 lookup/store/load 接口接入 SSD、Mooncake 等存储层级，以扩展有效 KV 容量并提升前缀缓存命中率。