跳到正文
AGI Hunt· antirez·· 3 小时前AI 评分65

antirez 分享用上一层残差预取专家,让 Kimi K3.1 流式运行在 128GB 电脑上

antirez 用上一层残差预取专家,128GB 小机流畅跑 Kimi 3.1

AI 导读

antirez 分享了在 128GB 小内存电脑上流式运行 Kimi K3.1 的技巧,利用上一层残差提前计算下一层的 MoE router。该方法几乎总能预测得分最高的 4 个专家,并向 SSD 发出预取提示,以掩盖专家加载延迟;作者认为同样的思路应适用于 DeepSeek 4.1 Flash。

来源:AGI Hunt · agihunt.info