AGI Hunt· jasonkneen·· 2 小时前AI 评分71
Rust 推理引擎 Kinetic 实测长文档处理速度并推进 macOS 支持
Rust 推理引擎 Kinetic 实测 0.13 秒答 2.2 万 token 文档,比 llama.cpp 快 84 倍
AI 导读
Rust 推理引擎 Kinetic 在 RTX 3060 6GB 与 Ryzen 5 6600H 上处理 22,631 token 文档仅用 0.13 秒，llama.cpp 用时 10.95 秒。
来源：AGI Hunt · agihunt.info