跳到正文
AGI Hunt· Mr_Moonsilver·· 2 小时前AI 评分61

实验性 vLLM overlay 用 4 张 3090 卸载 KV Cache 运行 Qwen3.8

4 张 3090 跑 Qwen 3.8:KV Cache 卸载到内存,8 路并发 200k 上下文

AI 导读

Reddit 用户 Mr_Moonsilver 发布实验性 vLLM overlay crazydiamond-on-ampere,在 4x3090 与 256GB DDR4 上运行 Intel/Qwen3.8-Flash-Next-W4A16-AutoRound。

来源:AGI Hunt · agihunt.info