8B MoE在低内存电视盒子实现7.2 tokens/s

开发者 petrusenko_max 展示了一个 8B MoE 模型在仅约 1GB 可用内存的电视盒子上达到 7.2 tok/s。其关键做法是按需从闪存换页加载专家权重，使模型能够在低内存设备上运行，相关成果已通过开源项目 hyperionaidev/smolmaxxing 发布。 同一电视盒子上的稠密 9B 模型仅达到 0.27 tok/s，按开发者展示的数据，前者速度约为后者的26倍。该结果证明了这一具体方案在低内存端侧环境中的推理性能，但不等同于其他模型或设备均能取得相同速度。

AI 根据报道生成 · 26 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。