跳到正文
AGI Hunt· IVequalsW·· 3 小时前AI 评分45

三张 AMD 显卡运行 Qwen 180B:llama.cpp Vulkan Q4 推理速度达 19-21 t/s

三张 AMD 显卡跑 Qwen 180B:llama.cpp Vulkan Q4 达 19-21 t/s

AI 导读

Reddit 用户用三张 AMD 显卡和 llama.cpp Vulkan 后端运行 Qwen Flash Next 的 180B Q4 量化版,在 262K 上下文下测得 19-21 t/s。测试显示,显式设置 `-c/--ctx-size` 后速度降至 8 t/s,即使上下文设为 100K 也无改善;未设置该参数反而最快。

来源:AGI Hunt · agihunt.info