AGI Hunt· danielhanchen·· 41 分钟前AI 评分71
llama.cpp 发布 v1,新增 MoE offloading 与 LRU 缓存加速
llama.cpp 发布 v1,新增 MoE offloading 与 LRU 缓存加速大模型
AI 导读
llama.cpp 正式发布 v1,新增 MoE offloading 与 LRU 缓存加速能力。用户可通过 --moe-cache-mib N 为 MoE LRU 缓存分配指定 GPU 显存,Unsloth 预编译版还提供自动确定缓存大小的 auto 选项。
来源:AGI Hunt · agihunt.info