跳到正文
AGI Hunt· danielhanchen·· 41 分钟前AI 评分71

llama.cpp 发布 v1,新增 MoE offloading 与 LRU 缓存加速

llama.cpp 发布 v1,新增 MoE offloading 与 LRU 缓存加速大模型

AI 导读

llama.cpp 正式发布 v1,新增 MoE offloading 与 LRU 缓存加速能力。用户可通过 --moe-cache-mib N 为 MoE LRU 缓存分配指定 GPU 显存,Unsloth 预编译版还提供自动确定缓存大小的 auto 选项。

来源:AGI Hunt · agihunt.info