跳到正文
AGI Hunt· jayecin·· 2 小时前AI 评分66

16GB 显卡运行 Qwen3.8-27B 的 110k 上下文与 55 t/s 配置

16GB 显卡跑 Qwen3.8-27B:110k 上下文、55 t/s 实战配置

AI 导读

一名 Reddit 用户在 16GB 显存的 5070 Ti 桌面机上运行 Qwen3.8-27B,实现了 110k 上下文和约 55 t/s 的生成速度。方案使用 11.8GB 的 4.2BPW 量化 GGUF,并通过让 9800X3D 的 iGPU 接管显示,将约 14.7GB 显存留给 llama.cpp;上下文超过 60k 时运行不稳定。

来源:AGI Hunt · agihunt.info