跳到正文
AGI Hunt· AlpinDale·· 2 小时前AI 评分33

vLLM 贡献者:无损 KV cache 量化可行但不划算

AI 导读

vLLM 贡献者 AlpinDale 评估后认为,无损 KV cache 量化技术上可行,但空间收益有限且会显著增加推理引擎复杂度,因此决定不做。该方案即使稍加优化,接近 BF16 KV cache 的性能仍难改变收益与复杂度比不划算的结论。

来源:AGI Hunt · agihunt.info