跳到正文
AGI Hunt· pmttyji·· 5 小时前AI 评分58

llama.cpp WebGPU 支持 Q2_0,Ternary Bonsai 推理吞吐提升约 50-55 倍

llama.cpp WebGPU 支持 Q2_0,Ternary Bonsai 推理速度提升近 50 倍

AI 导读

llama.cpp 合入 PR #30914,为 WebGPU 后端补上 Q2_0 量化支持。Ternary Bonsai 1.7B Q2_0 的 pp512 吞吐从 35 t/s 提升至 1915.91 t/s,tg128 从 14 t/s 提升至 94.75 t/s;Bonsai 2 2B 的 pp512 从 36.4 t/s 提升至 2039.89 t/s。

来源:AGI Hunt · agihunt.info