跳到正文
AGI Hunt· techNmak·· 1 小时前AI 评分56

一张图对比 MHA、MQA、GQA 与 MLA 的 KV cache 占用

一张图看懂 MHA/MQA/GQA/MLA:同样 8192 token,缓存差 32 倍

AI 导读

一张图梳理现代 LLM 的 MHA、MQA、GQA 与 MLA 如何管理 KV cache,以及共享 KV 头与压缩表示的设计差异。在 BF16、缓存 8192 token 的示例配置下,每层缓存显存分别为 MHA 128 MiB、MQA 4 MiB、GQA 32 MiB、MLA 9 MiB。缓存压缩不会自动提升模型质量或推理速度,主要影响显存、带宽以及长上下文和并发服务能力。

来源:AGI Hunt · agihunt.info