llama.cpp v1加入MoE卸载与缓存加速
热点事件持续更新
llama.cpp v1加入MoE卸载与缓存加速
1 篇报道1 个报道来源28 分钟前更新
先了解这件事
AI 综述
llama.cpp 发布 v1，新增 MoE offloading 与 LRU 缓存功能，让无法完整装入显存的超大 MoE 模型也能执行推理。用户可通过 `--moe-cache-mib N` 指定分配给 MoE LRU 缓存的 GPU 显存；Unsloth 预编译版另提供 `auto` 选项自动确定缓存大小。 Unsloth 维护者 Daniel Han 称，MoE 智能缓存可在模型超出显存容量时保持较快推理速度，但该效果属于其介绍，报道未提供独立验证数据。
AI 根据报道生成 · 15 分钟前更新
最新进展11月14日 10:25
llama.cpp 发布 v1，新增 MoE offloading 与 LRU 缓存加速报道时间线
沿着报道，了解事件的不同侧面。
11月14日
- AGI Huntllama.cpp 发布 v1，新增 MoE offloading 与 LRU 缓存加速
llama.cpp 正式发布 v1，新增 MoE offloading 与 LRU 缓存加速能力。用户可通过 --moe-cache-mib N 为 MoE LRU 缓存分配指定 GPU 显存，Unsloth 预编译版还提供自动确定缓存大小的 auto 选项。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。