AGI Hunt· solyarisoftware·· 2 小时前AI 评分60
vLLM 合并 Octave KV，AMD GPU KV 缓存容量提升 4.6 倍
vLLM 合并 Octave KV:AMD GPU 上 KV 缓存容量提升 4.6 倍
AI 导读
vLLM 已合并面向 AMD GPU 的原生 3-4 bit KV cache 后端 ROCMOCTAVE，可通过 `--kv-cache-dtype octavekv3` 等参数启用。
来源：AGI Hunt · agihunt.info