dai_app开源跨平台端侧MoE框架

dai_app发布基于llama.cpp的统一开源端侧MoE推理框架，可在Android、iOS、macOS、Windows和Linux上流式运行不同量化格式的大型MoE模型，并自动分配CPU、GPU和NPU资源。项目采用Apache 2.0许可证。 作者实测，Qwen 35B（Q4KM）在16GB Mac上解码速度超过25 tok/s，在12GB Android设备上约6 tok/s，在iOS上约3 tok/s，预填充速度超过300 tok/s。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。