开发者展示 8B MoE 在电视盒子上以换页方式达到 7.2 tok/s

开发者展示一个 8B MoE 模型在仅有约 1GB 可用内存的电视盒子上达到 7.2 tok/s，专家权重会按需从闪存换页加载。同一设备上的稠密 9B 模型仅达到 0.27 tok/s，速度相差 26 倍；相关开源项目为 hyperionaidev/smolmaxxing。