AGI Hunt· Mr_Moonsilver·· 2 小时前AI 评分61
实验性 vLLM overlay 用 4 张 3090 卸载 KV Cache 运行 Qwen3.8
4 张 3090 跑 Qwen 3.8:KV Cache 卸载到内存,8 路并发 200k 上下文
AI 导读
Reddit 用户 Mr_Moonsilver 发布实验性 vLLM overlay crazydiamond-on-ampere,在 4x3090 与 256GB DDR4 上运行 Intel/Qwen3.8-Flash-Next-W4A16-AutoRound。
来源:AGI Hunt · agihunt.info