跳到正文
AGI Hunt· pmttyji·· 1 小时前AI 评分61

llama.cpp 合入 AVX-VNNI Q2_0 点积内核,CPU 预填充提速约 1.3 倍

llama.cpp 新内核让 AVX-VNNI 上 Q2_0 预填充提速约 1.3 倍

AI 导读

llama.cpp 合入 PR #26348,为 x86 AVX-VNNI 增加 Q2_0 点积内核,CPU 预填充速度普遍提升约 1.3 倍。在 AMD EPYC 9645 八核环境中,Bonsai 1.7B–27B 的 8B 模型 pp512 速度从 30.0 提升至 39.4 tok/s,tg128 加速 1.09–1.22 倍。

来源:AGI Hunt · agihunt.info