AGI Hunt· antirez·· 3 小时前AI 评分68
antirez 分享用上一层残差预取专家,在 128GB 机器上流式运行 K3.1
antirez:用上一层残差预取专家,K3.1 流式跑进 128GB 小机器
AI 导读
antirez 分享了在 128GB 小型机器上流式运行 Kimi 3.1 的专家预取技巧。方法利用上一层残差提前运行下一层 router,评分中几乎总能正确预测 top-4 专家,从而提前向 SSD 发出读取提示,减少内存受限环境下的推理开销。
来源:AGI Hunt · agihunt.info