AGI Hunt· antirez·· 3 小时前AI 评分65
antirez 分享用上一层残差预取专家,让 Kimi K3.1 流式运行在 128GB 电脑上
antirez 用上一层残差预取专家,128GB 小机流畅跑 Kimi 3.1
AI 导读
antirez 分享了在 128GB 小内存电脑上流式运行 Kimi K3.1 的技巧,利用上一层残差提前计算下一层的 MoE router。该方法几乎总能预测得分最高的 4 个专家,并向 SSD 发出预取提示,以掩盖专家加载延迟;作者认为同样的思路应适用于 DeepSeek 4.1 Flash。
来源:AGI Hunt · agihunt.info