llama.cpp新增小批量MMQ CUDA内核
热点事件持续更新
llama.cpp新增小批量MMQ CUDA内核
1 篇报道1 个报道来源46 分钟前更新
先了解这件事
AI 综述
llama.cpp通过PR #31533新增面向量化权重计算的MMQ CUDA内核，支持2至24列的小批量场景，主要优化投机解码；报道称，投机解码速度最高提升35%。 该内核支持Q80、Q3K、Q4K、Q5K、Q6K、IQ3S、IQ4NL和IQ4XS，覆盖从Ampere到DGX Spark的NVIDIA GPU。作者计划继续扩展更多量化类型。
AI 根据报道生成 · 16 分钟前更新
最新进展11月12日 22:10
llama.cpp 新 CUDA 内核将投机解码提速最高 35%报道时间线
沿着报道，了解事件的不同侧面。
11月12日
- AGI Huntllama.cpp 新 CUDA 内核将投机解码提速最高 35%
llama.cpp PR #31533 为量化权重新增支持 BS 2-24 的 MMQ CUDA 内核，主要优化投机解码和小批量场景。内核支持 Q80、Q3K、Q4K、Q5K、Q6K、IQ3S、IQ4NL、IQ4XS，覆盖 Ampere 到 DGX Spark 的 NVIDIA GPU。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。