AGI Hunt· solyarisoftware·· 2 小时前AI 评分40
llama.cpp 调参让 Qwen3.5-4B 纯 CPU 推理达 11.4 tok/s
纯 CPU 跑 Qwen3.5-4B 达 11.4 tok/s,llama.cpp 调参提速 10%
AI 导读
开发者 TeksEdge 发布免 GPU、可 U 盘即插即用的独立 .exe,在 Ryzen 5 7540U 上以纯 CPU 运行 Qwen3.5-4B,普通 decode 配合 9 线程与 Q4 KV cache 达到约 11.4 tok/s。
来源:AGI Hunt · agihunt.info