AGI Hunt· WorldlyAd7946·· 2 小时前精选AI 评分82
ToRc 以 13MB Rust 引擎双机运行 107GB 模型,生成速度达 17.5 tok/s
13MB 引擎在两台£300 骁龙机上跑 107GB 模型,17 tok/s 生成
AI 导读
作者用 Rust 从零编写了约 13MB 的 ToRc 推理引擎,支持 Windows、Linux x64 与 ARM,无需安装解压即可使用。
推荐理由
材料给出了双机运行大模型的硬件条件、速度数据及与 llama.cpp 的对比,可用于了解本地大模型推理的部署取舍。
来源:AGI Hunt · agihunt.info