KV Cache 工程详解：单序列 8K 上下文占 1 GiB，LLM 推理服务性能的关键战场

techNmak 的长文梳理 KV Cache 机制与性能权衡：32 层、8 KV 头、head dim 128、BF16 下，8192 位置的单序列约占 1 GiB，32 条不共享序列约占 32 GiB。GQA/MQA、PagedAttention、Prefix caching、KV 量化与 CPU offload 各有取舍，生产监控还需结合并发、缓存命中率、抢占、TTFT 和 ITL。