AGI Hunt· pmttyji·· 58 分钟前AI 评分56
llama.cpp 新 CUDA 内核将投机解码提速最高 35%
llama.cpp 新 CUDA 内核让投机解码提速最多 35%
AI 导读
llama.cpp PR #31533 为量化权重新增支持 BS 2-24 的 MMQ CUDA 内核,主要优化投机解码和小批量场景。内核支持 Q80、Q3K、Q4K、Q5K、Q6K、IQ3S、IQ4NL、IQ4XS,覆盖 Ampere 到 DGX Spark 的 NVIDIA GPU。
来源:AGI Hunt · agihunt.info