UC Berkeley 开源 FreeToken 边缘推理引擎

UC Berkeley 开源 FreeToken，通过统一 GPU、CPU、主机内存与 PCIe 互联，在消费级硬件上运行大规模 MoE 模型。引擎将非专家权重常驻 GPU、专家权重置于主机内存并按需调度，以 DeepSeek-V4-Flash 为例，其 284B 总参数中每 token 激活 13B。