Rust推理引擎ge发布并完成初步实测
热点事件持续更新
Rust推理引擎ge发布并完成初步实测
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Raptor2496 发布纯 Rust 编写的 GGUF 推理引擎 ge，并在 RTX 3050 Laptop 4GB 上与 llama.cpp b9102 Vulkan 背靠背测试；单次测试显示，ge 运行 8B 混合模式时显存峰值为 2.4 GB，llama.cpp 为 4.7 GB，Qwen3-4B Q4KM 的 512-token CPU 提示处理速度分别为 84 和 59 tok/s。 ge 支持 CPU/GPU 自动切分及 OpenAI、Anthropic 兼容服务，但目前仅提供 Windows、Linux 二进制，源码未公开、许可证待定，测试也只覆盖一台机器；16K 上下文仍会超出 4GB 显存容量。
AI 根据报道生成 · 3 小时前更新
最新进展11月12日 04:30
Rust 推理引擎 ge 在 4GB 显存笔记本上实测 llama.cpp报道时间线
沿着报道，了解事件的不同侧面。
11月12日
- AGI HuntRust 推理引擎 ge 在 4GB 显存笔记本上实测 llama.cpp
Rust 推理引擎 ge 在 4GB 显存笔记本上实测 llama.cpp，8B 混合模式显存峰值为 2.4 GB，对比后者 4.7 GB。Qwen3-4B Q4KM 的 CPU prompt 处理在 512 tokens 时为 84 对 59 tok/s，16K 上下文会溢出 4GB 显存。测试仅覆盖一台机器，源码尚未公开，许可证待定。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1011月12日 05:00
- 近 24 小时变化
- –
02.557.510
05:0006:0007:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。