AGI Hunt· Grawnch·· 2 小时前精选AI 评分78
开源推理引擎 TokenWing 发布,可将 60% 以上 MoE 专家卸载至 SSD
TokenWing 把 60% MoE 专家卸载到 SSD,笔记本跑 120B 达 50 tok/s
AI 导读
开源推理引擎 TokenWing 及其 GUI 壳 Run My AI 发布,可将超过 60% 的 MoE 路由专家卸载到 SSD。用户实测中,12GB 显存加 32GB DDR5 的笔记本运行 Ling 3.0 Flash 120B(MXFP4),解码速度达到 45-50 tok/s。项目仍处于早期,autotuner 尚未完善,需要自行调整 flags;引擎只读不写,不会损耗 SSD 寿命。
推荐理由
TokenWing 的 SSD 专家卸载方案提供了低显存运行大型 MoE 模型的实测配置与速度参考。
来源:AGI Hunt · agihunt.info