跳到正文
AGI Hunt· antirez·· 3 小时前AI 评分68

antirez 分享用上一层残差预取专家,在 128GB 机器上流式运行 K3.1

antirez:用上一层残差预取专家,K3.1 流式跑进 128GB 小机器

AI 导读

antirez 分享了在 128GB 小型机器上流式运行 Kimi 3.1 的专家预取技巧。方法利用上一层残差提前运行下一层 router,评分中几乎总能正确预测 top-4 专家,从而提前向 SSD 发出读取提示,减少内存受限环境下的推理开销。

来源:AGI Hunt · agihunt.info