vLLM合并AMD原生KV缓存后端
热点事件持续更新
vLLM合并AMD原生KV缓存后端
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
vLLM 已合并面向 AMD GPU 的原生 3–4 bit KV 缓存后端 ROCMOCTAVE，可通过 `--kv-cache-dtype octavekv3` 等参数启用；开发者称，该后端可使 AMD GPU 的 KV 缓存容量提升 4.6 倍。 该后端目前面向 RDNA3 的 gfx1100 和 MI300X 的 gfx942，支持 MTP 与 CUDA graphs。作者称，自 2026 年 10 月起已在 RDNA3 生产环境使用。
AI 根据报道生成 · 59 分钟前更新
最新进展11月3日 14:20
vLLM 合并 Octave KV，AMD GPU KV 缓存容量提升 4.6 倍报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- AGI HuntvLLM 合并 Octave KV，AMD GPU KV 缓存容量提升 4.6 倍
vLLM 已合并面向 AMD GPU 的原生 3-4 bit KV cache 后端 ROCMOCTAVE，可通过 `--kv-cache-dtype octavekv3` 等参数启用。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。