llama.cpp 性能反超用户自研推理引擎

Reddit 用户 Danmoreng 几个月后重测发现，开源推理框架 llama.cpp 在其业余测试中已追平并反超他自己用 vibe-code 为 RTX 5080 16GB 笔记本编写的推理引擎；几个月前 llama.cpp 还比 vLLM 更慢、更浪费显存，他当时正是靠自研引擎轻松跑赢 llama.cpp。 测试条件为固定 16k prefill + 1k output，使用 Wikipedia 文本，各引擎均取各自最优设置。结论来自个人玩家的非受控实测，主要针对单张笔记本 GPU 场景，未涉及服务端部署或不同量化配置。

AI 根据报道生成 · 35 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。