跳到正文
AGI Hunt· IceFog72·· 3 小时前AI 评分54

ik_llama.cpp 分叉更新,在 6GB 显存 RTX 2060 上达到 Strata 级推理速度

ik_llama.cpp 分叉更新:6GB 显存 RTX 2060 上追平 Strata 推理速度

AI 导读

开发者 IceFog72 发布 ik_llama.cpp 分叉更新,以不同于此前方案的方式实现 MoE 专家驻留优化,在 6GB 显存的 RTX 2060 上获得与 Strata 相当的推理速度。代码目前仍需大量清理和完善,仅在单卡 RTX 2060 上充分测试,暂不尝试合并回上游,细节与用法见 GitHub 仓库。

来源:AGI Hunt · agihunt.info