跳到正文
AGI Hunt· solyarisoftware·· 2 小时前AI 评分40

llama.cpp 调参让 Qwen3.5-4B 纯 CPU 推理达 11.4 tok/s

纯 CPU 跑 Qwen3.5-4B 达 11.4 tok/s,llama.cpp 调参提速 10%

AI 导读

开发者 TeksEdge 发布免 GPU、可 U 盘即插即用的独立 .exe,在 Ryzen 5 7540U 上以纯 CPU 运行 Qwen3.5-4B,普通 decode 配合 9 线程与 Q4 KV cache 达到约 11.4 tok/s。

来源:AGI Hunt · agihunt.info