跳到正文
热点事件持续更新

Inpherio演示iPhone流式加载MoE权重

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Russell称,Inpherio Live 通过改造 llama.cpp,已在 iPhone 和 iPad 上演示从闪存流式加载 120B MoE 模型:权重不整体载入内存,仅将当前激活的专家保留在 RAM,从而绕过 iOS 单应用约 6GB 的内存上限。 该应用正在接受 App Store 审核。按请求自动加载模型时,最多保留 3 个“热”模型并跟踪 iOS 内存限制;其中从存储流式运行大 MoE 模型的功能拟以一次性买断的 Live Plus 提供,其余功能免费。

AI 根据报道生成 · 40 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月16日
  1. AGI Hunt
    Inpherio Live 演示在 iPhone 和 iPad 流式加载 120B MoE 模型

    Inpherio Live 通过改造 llama.cpp,从闪存流式读取 MoE 权重,仅将激活专家保留在 RAM,从而在 iPhone 和 iPad 上运行本地模型。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。