AGI Hunt· pmttyji·· 2 小时前AI 评分32
llama.cpp 提出 ClassLRU 缓存:MoE 解码提速 6–7%,上传量减少 8%
llama.cpp 新缓存 ClassLRU:MoE 解码提速 6-7%,上传减少 8%
AI 导读
llama.cpp 的 PR #31233 提出用 LRFU/MQ 式混合缓存 ClassLRU 替换 SLRU,按类别优先保留高频使用的专家,并依据衰减的使用历史排序。实测热缓存下 QFN 解码提速 6%、GLM 提速 7%,上传量减少 8%;该方案也为 llamamoecache 启用 auto 模式铺路,目前等待相关 PR #30966 合并。
来源:AGI Hunt · agihunt.info