AGI Hunt· Fancy-Snow7·· 1 天前AI 评分43
Qwen3 8B 的 f16 token 为何占约 64KB 显存？KV Cache 解析
一个 f16 token 为何占 64KB 显存？Reddit 网友求解 KV Cache 之谜
AI 导读
Reddit 网友求解 Qwen3 8B 在 f16 精度下每个 token 约占 64KB 显存之谜。额外空间并非存储 token 文本，而是各层注意力计算后缓存的 key/value 向量。
来源：AGI Hunt · agihunt.info