DeepSeek 量化技术受热议：KV Cache 三年缩小 437 倍

开发者 gnukeith 引用 DeepSeek 相关技术成果指出，KV Cache 每 token 字节数自 2023 年 11 月的 DeepSeek-V1 起，三年间缩小 437 倍。借助 DeepSeek 论文中的量化技术，7630 亿参数模型可在约 305GB 内存上近无损运行，相关观点认为 AI 将更强也更便宜并引发热议。