llama.cpp提出ClassLRU专家缓存方案
热点事件持续更新
llama.cpp提出ClassLRU专家缓存方案
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
llama.cpp 项目提出以 ClassLRU 替换现有 SLRU 专家缓存方案，目标是提升 MoE 解码速度并减少模型上传量，相关 PR #31233 目前仍待合并。 ClassLRU 结合 LRFU 与 MQ 式混合缓存，按类别优先保留高频使用的专家，并依据使用历史的衰减程度排序。项目实测显示，在热缓存条件下，QFN 解码速度提升 6%，GLM 提升 7%，上传量减少 8%。该方案还将为 llamamoecache 启用 auto 模式提供基础，后者目前等待 PR #30966 合并。
AI 根据报道生成 · 1 小时前更新
最新进展11月6日 23:39
llama.cpp 提出 ClassLRU 缓存：MoE 解码提速 6–7%，上传量减少 8%报道时间线
沿着报道，了解事件的不同侧面。
11月6日
- AGI Huntllama.cpp 提出 ClassLRU 缓存：MoE 解码提速 6–7%，上传量减少 8%
llama.cpp 的 PR #31233 提出用 LRFU/MQ 式混合缓存 ClassLRU 替换 SLRU，按类别优先保留高频使用的专家，并依据衰减的使用历史排序。实测热缓存下 QFN 解码提速 6%、GLM 提速 7%，上传量减少 8%；该方案也为 llamamoecache 启用 auto 模式铺路，目前等待相关 PR #30966 合并。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。