llama.cpp 全量卸载参数实测
热点事件持续更新
llama.cpp 全量卸载参数实测
1 篇报道1 个报道来源55 分钟前更新
先了解这件事
AI 综述
Reddit 用户 randomjapaneselearn 称，在 llama.cpp 中将 `-ngl -1` 改为 `-ngl all`，可使 Swift-1.5-Qwen3.8-27B Q4KM 稳定卸载全部 66/66 层，CPU 占用消失，生成速度由 60 提升至 76 t/s。 该方法针对模型理论上可装入显存、但运行时仍有较高 CPU 占用的情况；目前结论仅来自这一模型的实测。
AI 根据报道生成 · 46 分钟前更新
报道时间线
沿着报道，了解事件的不同侧面。
11月13日
- AGI Huntllama.cpp 使用 -ngl all 将 Swift-1.5-Qwen3.8-27B 生成速度从 60 提升至 76 t/s
randomjapaneselearn 在 Reddit 实测发现，将 llama.cpp 的 -ngl -1 改为 -ngl all，可让 Swift-1.5-Qwen3.8-27B Q4KM 稳定卸载全部 66/66 层，生成速度从 60 提升至 76 t/s。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。