AGI Hunt· Serious_Scarcity7818·· 3 小时前AI 评分65
纯 Rust 推理引擎 RustingStrata 发布,12GB 显卡运行 Qwen 提速
纯 Rust 推理引擎 RustingStrata:12GB 显卡跑 Qwen 速度翻倍
AI 导读
开发者发布纯 Rust 编写的 Qwen GGUF 推理引擎 RustingStrata,不依赖 ggml,支持 CUDA NVRTC 运行时编译及 Vulkan。
来源:AGI Hunt · agihunt.info