llama.cpp PR拟用CPU补跑未加载专家
热点事件持续更新
llama.cpp PR拟用CPU补跑未加载专家
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
llama.cpp贡献者am17an提交PR #30966，提出在MoE模型请求的专家权重未加载到显存时，改由CPU计算这些专家，并附带调参脚本。该方案面向显存不足、需要卸载专家权重的本地部署场景，可避免未命中专家时出现额外推理开销。 目前信息显示这是一项待审议的代码变更，报道未说明是否已合并，也未给出统一的性能测试结果。
AI 根据报道生成 · 2 小时前更新
最新进展11月8日 00:25
llama.cpp PR #30966 支持在 CPU 上运行未载入显存的 MoE 专家报道时间线
沿着报道，了解事件的不同侧面。
11月8日
- AGI Huntllama.cpp PR #30966 支持在 CPU 上运行未载入显存的 MoE 专家
llama.cpp PR #30966 让 MoE 模型在请求专家未载入显存时改由 CPU 运行，并附带调参脚本。该改动面向依赖专家权重 offload 的低显存本地部署场景，可减少因专家未命中显存带来的推理开销。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1011月8日 01:00
- 近 24 小时变化
- –
02.557.510
01:0002:0003:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。