Hacker News·· 5 小时前AI 评分50
llama.cpp Arm NEON 内核使低比特量化模型提示词处理最高提速 6.5x
Llama.cpp: 6.5x faster prompt processing on Arm with a NEON kernel
AI 导读
该仓库为 llama.cpp v0.9.0 增加 Arm NEON SDOT 内核，修复 Q3_K、Q2_K 和 IQ 系列在 Arm 上反复解包权重导致的低效。
来源：Hacker News · github.com