开源框架让 35B MoE 模型在 16GB Mac 上达到 25+ tok/s

作者发布一套基于 llama.cpp 的统一开源框架，可在 Android、iOS、macOS、Windows 和 Linux 上流式运行任意量化格式的大型 MoE 模型，并自动分配 CPU、GPU 和 NPU 资源。