AGI Hunt· dai_app·· 3 小时前AI 评分73
BigMoeOnEdge 开源，将 MoE 大模型权重自动分配至 VRAM、RAM 与闪存
BigMoeOnEdge 开源:让 MoE 大模型跑进手机和 16GB 笔记本,权重自动分配到 VRAM/RAM/闪存
AI 导读
作者开源了基于 llama.cpp 的 BigMoeOnEdge，可让超出设备内存容量的 MoE 模型运行，并将权重自动分配到 VRAM、RAM 或闪存以优化 prefill 和 decode 速度。
来源：AGI Hunt · agihunt.info