AGI Hunt· jacek2023·· 3 小时前AI 评分57
llama.cpp PR #30966 支持在 CPU 上运行未载入显存的 MoE 专家
llama.cpp 新 PR 让 MoE 未命中专家跑在 CPU 上,低显存用户推理大幅提速
AI 导读
llama.cpp PR #30966 让 MoE 模型在请求专家未载入显存时改由 CPU 运行，并附带调参脚本。该改动面向依赖专家权重 offload 的低显存本地部署场景，可减少因专家未命中显存带来的推理开销。
来源：AGI Hunt · agihunt.info