BigMoeOnEdge 开源端侧MoE分层推理
热点事件持续更新
BigMoeOnEdge 开源端侧MoE分层推理
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
作者开源了基于 llama.cpp 的 BigMoeOnEdge 端侧推理工具，可让超出设备内存容量的 MoE 模型运行，并自动将权重分配至 VRAM、RAM 或闪存，以优化 prefill 和 decode 速度。 该工具支持任意量化及 llama.cpp 可加载的 MoE GGUF 模型，直接从文件读取专家张量信息，新架构无需额外编写代码；可运行于 Android、iOS、macOS、Windows 和 Linux，并支持 CPU、CUDA、ROCm、Vulkan、Metal、OpenCL 与 Hexagon NPU 后端。
AI 根据报道生成 · 2 小时前更新
最新进展11月8日 17:05
BigMoeOnEdge 开源，将 MoE 大模型权重自动分配至 VRAM、RAM 与闪存报道时间线
沿着报道，了解事件的不同侧面。
11月8日
- AGI HuntBigMoeOnEdge 开源，将 MoE 大模型权重自动分配至 VRAM、RAM 与闪存
作者开源了基于 llama.cpp 的 BigMoeOnEdge，可让超出设备内存容量的 MoE 模型运行，并将权重自动分配到 VRAM、RAM 或闪存以优化 prefill 和 decode 速度。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。