AGI Hunt· Raptor2496·· 3 小时前AI 评分51
Rust 推理引擎 ge 在 4GB 显存笔记本上实测 llama.cpp
4GB 显存笔记本上单挑 llama.cpp：Rust 自研推理引擎 ge 实测
AI 导读
Rust 推理引擎 ge 在 4GB 显存笔记本上实测 llama.cpp，8B 混合模式显存峰值为 2.4 GB，对比后者 4.7 GB。Qwen3-4B Q4KM 的 CPU prompt 处理在 512 tokens 时为 84 对 59 tok/s，16K 上下文会溢出 4GB 显存。测试仅覆盖一台机器，源码尚未公开，许可证待定。
来源：AGI Hunt · agihunt.info