LLM 推理如何应对 prefill 算力与 decode 内存带宽瓶颈

techNmak 分析了 LLM 推理中 prefill 算力受限与 decode 内存带宽受限的核心矛盾，并梳理两阶段适用的优化手段。以 32 层 GQA 模型为例，8192 token 序列需要 1 GiB KV cache，16 条独立序列需要 16 GiB，尚未计算权重和激活。