llama.cpp新增Arm NEON低比特内核

Nikita为llama.cpp v0.9.0编写了Arm NEON SDOT内核，针对Q3_K、Q2_K及IQ系列量化模型修复反复解包权重造成的低效；在AWS Graviton服务器上的测试显示，受影响格式的提示词处理最高提速6.5倍，生成阶段不受影响。已有Arm内核的Q4_K、Q5_K、Q6_K和Q8_0性能不变。 该补丁尚未提交llama.cpp上游，也未在Apple Silicon、Windows on Arm、8至32 token批次及小缓存核心上测试，因此这些环境的实际表现尚未确认。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。