六款推理引擎单卡基准结果公布

TensorSharp 作者公布单张 RTX 5090 32GB 上运行 Qwen 27B 的六引擎对比，涵盖 llama.cpp、vLLM、SGLang、NInfer、velox-inferer 和 TensorSharp；结果显示 DFlash2 配置提速显著。测试统一采用 40960 token 上下文，覆盖单请求吞吐、长提示、并发、截图输入和工具循环。 该结果比较的是各引擎的完整配置，因量化 checkpoint、draft 模型和 KV 格式不同，不能直接视为运行时本身差异；解码波动约 4%，5% 以内差距不显著。正确性测试中，velox 三次均未通过 JSON-schema 用例，NInfer 开启 DFlash2 时曾出现一次空 JSON 键。

AI 根据报道生成 · 54 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。