smolmaxxing 让语言模型运行在小型旧设备上

smolmaxxing 通过定制内核、内存优化、权重流式加载和 MoE 专家分页，让语言模型运行在小型旧设备上。项目在 Xiaomi TV Box S（3rd Gen）上运行 260K 至 16B 参数模型，在 2013 款 iPad Air 上运行 1.7B 至 16B MoE 模型，并公开 E1-E160 实验记录、llama.cpp 补丁、模型构建脚本和下载文件。