跳到正文
AGI Hunt· WorldlyAd7946·· 2 小时前精选AI 评分82

ToRc 以 13MB Rust 引擎双机运行 107GB 模型,生成速度达 17.5 tok/s

13MB 引擎在两台£300 骁龙机上跑 107GB 模型,17 tok/s 生成

AI 导读

作者用 Rust 从零编写了约 13MB 的 ToRc 推理引擎,支持 Windows、Linux x64 与 ARM,无需安装解压即可使用。

推荐理由

材料给出了双机运行大模型的硬件条件、速度数据及与 llama.cpp 的对比,可用于了解本地大模型推理的部署取舍。

来源:AGI Hunt · agihunt.info