SGLang HiCache实现跨并行缓存复用
热点事件持续更新
SGLang HiCache实现跨并行缓存复用
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
LMSYS发布SGLang HiCache跨并行分布式缓存能力，可在上下文并行、流水线并行、投机解码及P/D分离部署中复用前缀KV缓存，并统一不同并行配置的KV布局。 据LMSYS技术文章，科大讯飞星火MaaS的CodingPlan agentic负载接入HiCache外部存储后，缓存命中率由30%提升至95%，中位首字响应时间降至3秒以内。
AI 根据报道生成 · 1 小时前更新
最新进展11月3日 14:02
SGLang HiCache上线跨并行分布式缓存，缓存命中率由30%提升至95%报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- AGI HuntSGLang HiCache上线跨并行分布式缓存，缓存命中率由30%提升至95%
LMSYS发布SGLang HiCache的跨并行分布式缓存能力，支持在复杂部署中复用前缀KV缓存。该方案可结合上下文并行、流水线并行、投机解码和P/D分离，并统一各并行配置间的KV布局。科大讯飞星火MaaS的CodingPlan agentic负载接入HiCache外部存储后，缓存命中率从30%提升至95%，中位TTFT降至3秒以内。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。