Inpherio演示iPhone流式加载MoE权重
热点事件持续更新
Inpherio演示iPhone流式加载MoE权重
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Russell称,Inpherio Live 通过改造 llama.cpp,已在 iPhone 和 iPad 上演示从闪存流式加载 120B MoE 模型:权重不整体载入内存,仅将当前激活的专家保留在 RAM,从而绕过 iOS 单应用约 6GB 的内存上限。 该应用正在接受 App Store 审核。按请求自动加载模型时,最多保留 3 个“热”模型并跟踪 iOS 内存限制;其中从存储流式运行大 MoE 模型的功能拟以一次性买断的 Live Plus 提供,其余功能免费。
AI 根据报道生成 · 40 分钟前更新
最新进展11月16日 20:36
Inpherio Live 演示在 iPhone 和 iPad 流式加载 120B MoE 模型报道时间线
沿着报道,了解事件的不同侧面。
11月16日
- AGI HuntInpherio Live 演示在 iPhone 和 iPad 流式加载 120B MoE 模型
Inpherio Live 通过改造 llama.cpp,从闪存流式读取 MoE 权重,仅将激活专家保留在 RAM,从而在 iPhone 和 iPad 上运行本地模型。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。