SGLang HiCache上线跨并行分布式缓存，缓存命中率由30%提升至95%

LMSYS发布SGLang HiCache的跨并行分布式缓存能力，支持在复杂部署中复用前缀KV缓存。该方案可结合上下文并行、流水线并行、投机解码和P/D分离，并统一各并行配置间的KV布局。科大讯飞星火MaaS的CodingPlan agentic负载接入HiCache外部存储后，缓存命中率从30%提升至95%，中位TTFT降至3秒以内。