AGI Hunt· pmttyji·· 1 小时前AI 评分61
llama.cpp 合入 AVX-VNNI Q2_0 点积内核,CPU 预填充提速约 1.3 倍
llama.cpp 新内核让 AVX-VNNI 上 Q2_0 预填充提速约 1.3 倍
AI 导读
llama.cpp 合入 PR #26348,为 x86 AVX-VNNI 增加 Q2_0 点积内核,CPU 预填充速度普遍提升约 1.3 倍。在 AMD EPYC 9645 八核环境中,Bonsai 1.7B–27B 的 8B 模型 pp512 速度从 30.0 提升至 39.4 tok/s,tg128 加速 1.09–1.22 倍。
来源:AGI Hunt · agihunt.info