smolmaxxing让旧设备运行大模型

smolmaxxing 项目作者通过定制内核、内存优化、权重流式加载和 MoE 专家分页，让语言模型得以在小型旧设备上运行。实测中，小米电视盒子 S 第三代可运行 260K 至 16B 参数模型，2013 款 iPad Air 可运行 1.7B 至 16B MoE 模型。 项目公开了 E1—E160 实验记录、llama.cpp 补丁、模型构建脚本及下载文件；运行裁剪头模型须使用其补丁版 llama.cpp，仓库不包含每个 0.5—4 GB 的模型文件。iOS 端实际内存上限约 700 MB，因此 4B 模型需将上下文设为 512 token，相关越狱也无法在重启后保留。

AI 根据报道生成 · 18 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。