跳到正文
AGI Hunt· Chance-Resource-4970·· 1 小时前AI 评分56

Inpherio Live 演示在 iPhone 和 iPad 流式加载 120B MoE 模型

iPhone 上跑通 120B 模型:改 llama.cpp 从闪存流式加载 MoE 权重

AI 导读

Inpherio Live 通过改造 llama.cpp,从闪存流式读取 MoE 权重,仅将激活专家保留在 RAM,从而在 iPhone 和 iPad 上运行本地模型。

来源:AGI Hunt · agihunt.info